O anúncio de um sinal compartilhado para o treinamento de IA
Em 30 de outubro de 2026, OpenAI, Google, Microsoft e Anthropic anunciaram que respeitarão um sinal comum no arquivo robots.txt. Esta iniciativa permite que os operadores de sites comuniquem a vários fornecedores, por meio de uma única regra, suas preferências sobre se seu conteúdo pode ser usado para o treinamento de modelos de inteligência artificial generativa.
Até a data, os editores precisavam manter listas de exclusão separadas para cada rastreador específico, como o GPTBot da OpenAI ou o Google-Extended. O novo sinal busca reduzir essa complexidade operacional ao oferecer um token de política unificado que os fornecedores participantes interpretarão de forma similar, simplificando a gestão das permissões de uso dos dados.
Mecânica técnica: o token __usage_ai-training
O mecanismo se baseia em um rascunho individual da Internet intitulado 'Machine-Readable Training Preference Signal', proposto por Kevin Kelley, da Anthropic, à Internet Engineering Task Force (IETF). A proposta não modifica a sintaxe existente do robots.txt nem introduz novas diretivas, mas utiliza grupos ordinários de agentes de usuário.
O token específico definido para este propósito é __usage_ai-training. Ao associar este identificador a diretivas Allow ou Disallow, o operador expressa uma preferência de uso. Os analisadores que não reconhecerem este token o tratarão como um nome de agente desconhecido, o que permite que os sistemas existentes continuem funcionando sem alterações enquanto a nova funcionalidade é integrada.
Exemplo de como expressar a preferência de não permitir o treinamento de IA para todas as rotas, exceto uma pasta específica:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Participação de fornecedores e cronogramas de implementação
A adoção do padrão varia conforme a empresa. A Anthropic confirmou que já implementou o suporte para este token. A OpenAI prevê incorporá-lo nos próximos meses, embora não tenha especificado uma data concreta. O Google e a Microsoft planejam admitir o sinal no início de 2027.
O Google indicou que, se um site utilizar o token de política para optar por não participar do treinamento e não mencionar explicitamente o Google-Extended, interpretará isso como se o editor tivesse desabilitado esse rastreador específico. A Microsoft, por sua vez, oferecerá controles adicionais que permitirão recusar o treinamento ou o 'anclagem' (grounding) de forma independente.
Estado de adoção por fornecedor
Resumo da situação de cada empresa em relação ao sinal comum de treinamento de IA.
| Fornecedor | Estado de implementação | Notas adicionais |
|---|---|---|
| Anthropic | Implementado | Já respeita o token __usage_ai-training. |
| OpenAI | Previsto para os próximos meses | Não substitui os controles atuais do GPTBot. |
| Planejado para 2027 | Será integrado à lógica do Google-Extended. | |
| Microsoft | Planejado para 2027 | Incluirá opções para recusar o anclagem (grounding). |
| Meta | Apoio declarado | Não confirmou formalmente se respeitará o sinal técnico. |
Limites do padrão e alcance das preferências
É fundamental distinguir entre o controle do rastreamento e o controle do uso. O sinal __usage_ai-training expressa uma preferência sobre o treinamento de modelos, mas não determina por si só se um rastreador pode visitar uma página com outros fins, como a busca ou a inferência em tempo real.
O rascunho da IETF esclarece que os acordos privados podem prevalecer sobre as preferências expressas em robots.txt. Além disso, o documento técnico sublinha que este sinal não substitui os controles de rastreamento existentes. Um administrador pode, por exemplo, bloquear o treinamento por meio do sinal comum, mas permitir o acesso para a busca generativa se não bloquear os rastreadores específicos de busca.
Considerações para editores e operadores web
Os editores que desejarem utilizar este sinal devem compreender que sua eficácia depende da adoção por parte dos fornecedores. Dado que o padrão ainda é um rascunho na IETF, não conta com o respaldo formal da organização nem tem status de norma aprovada.
Recomenda-se que os operadores combinem este sinal com outras medidas de proteção, como regras de WAF ou gestão de bots, pois os sinais de conteúdo são preferências e não contramedidas técnicas contra a apropriação de conteúdos. Além disso, é importante verificar a documentação específica de cada fornecedor para entender como interpretam o sinal em relação aos seus próprios rastreadores.
Passos para implementar o sinal de treinamento
Processo recomendado para os administradores de sites que desejem expressar sua preferência sobre o treinamento de IA.
- 01Acessar o arquivo robots.txt do site.
- 02Adicionar um grupo de usuário com o token __usage_ai-training.
- 03Definir as diretivas Allow ou Disallow conforme as rotas que se deseja excluir ou permitir para o treinamento.
- 04Verificar a sintaxe para garantir que não se quebram as regras existentes para outros agentes.
- 05Monitorar o tráfego de bots para confirmar que os fornecedores participantes estão respeitando a preferência.
Questões em aberto
- A data exata de implementação do sinal pela OpenAI não foi especificada, indicando apenas que será nos 'próximos meses'.
- Não está confirmado se a Meta respeitará formalmente o sinal técnico, embora tenha expressado apoio à ideia de um sinal comum.
- O rascunho da IETF é um documento individual e não representa necessariamente o consenso final do grupo de trabalho, portanto o vocabulário e a sintaxe podem mudar antes da padronização definitiva.
Continue a explorar
Fontes consultadas
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção