Un signal commun dans robots.txt pour gérer l'entraînement de l'IA : ce qui a changé et ce qui reste à faire

L'annonce d'un signal partagé pour l'entraînement de l'IA

Le 30 octobre 2026, OpenAI, Google, Microsoft et Anthropic ont annoncé qu'ils respecteraient un signal commun dans le fichier robots.txt. Cette initiative permet aux opérateurs de sites web de communiquer à plusieurs fournisseurs, via une seule règle, leurs préférences quant à savoir si leur contenu peut être utilisé pour l'entraînement de modèles d'intelligence artificielle générative.

Jusqu'à présent, les éditeurs devaient maintenir des listes d'exclusion séparées pour chaque robot spécifique, comme GPTBot d'OpenAI ou Google-Extended. Le nouveau signal vise à réduire cette complexité opérationnelle en offrant un jeton de politique unifié que les fournisseurs participants interpréteront de manière similaire, simplifiant ainsi la gestion des autorisations d'utilisation des données.

Mécanique technique : le jeton __usage_ai-training

Le mécanisme repose sur un projet individuel d'Internet intitulé « Machine-Readable Training Preference Signal », proposé par Kevin Kelley d'Anthropic auprès de l'Internet Engineering Task Force (IETF). La proposition ne modifie pas la syntaxe existante de robots.txt ni n'introduit de nouvelles directives, mais utilise des groupes ordinaires d'agents utilisateur.

Le jeton spécifique défini à cette fin est __usage_ai-training. En associant cet identifiant à des directives Allow ou Disallow, l'opérateur exprime une préférence d'utilisation. Les analyseurs qui ne reconnaissent pas ce jeton le traiteront comme un nom d'agent inconnu, ce qui permet aux systèmes existants de continuer à fonctionner sans modification pendant l'intégration de la nouvelle fonctionnalité.

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Participation des fournisseurs et calendriers de mise en œuvre

L'adoption de la norme varie selon l'entreprise. Anthropic a confirmé avoir déjà implémenté le support pour ce jeton. OpenAI prévoit de l'intégrer dans les prochains mois, bien qu'aucune date précise n'ait été spécifiée. Google et Microsoft prévoient d'accepter le signal au début de 2027.

Google a indiqué que si un site utilise le jeton de politique pour refuser l'entraînement et ne mentionne pas explicitement Google-Extended, il l'interprétera comme si l'éditeur avait désactivé ce robot spécifique. Microsoft, de son côté, offrira des contrôles supplémentaires permettant de refuser l'entraînement ou l'« ancrage » (grounding) de manière indépendante.

Limites de la norme et portée des préférences

Il est fondamental de distinguer le contrôle du robot (crawling) du contrôle de l'utilisation. Le signal __usage_ai-training exprime une préférence concernant l'entraînement des modèles, mais ne détermine pas à lui seul si un robot peut visiter une page à d'autres fins, telles que la recherche ou l'inférence en temps réel.

Le projet de l'IETF précise que les accords privés peuvent prévaloir sur les préférences exprimées dans robots.txt. De plus, le document technique souligne que ce signal ne remplace pas les contrôles de robot existants. Un administrateur peut, par exemple, bloquer l'entraînement via le signal commun tout en autorisant l'accès pour la recherche générative s'il ne bloque pas les robots de recherche spécifiques.

Considérations pour les éditeurs et opérateurs web

Les éditeurs souhaitant utiliser ce signal doivent comprendre que son efficacité dépend de l'adoption par les fournisseurs. Étant donné que la norme reste un projet auprès de l'IETF, elle ne bénéficie pas du soutien formel de l'organisation ni du statut de norme approuvée.

Il est recommandé aux opérateurs de combiner ce signal avec d'autres mesures de protection, telles que les règles WAF ou la gestion des robots, car les signaux de contenu sont des préférences et non des contre-mesures techniques contre l'appropriation de contenu. Il est également important de vérifier la documentation spécifique de chaque fournisseur pour comprendre comment ils interprètent le signal par rapport à leurs propres robots.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.