OpenAI, Google, Microsoft et Anthropic adoptent un jeton robots.txt unique pour refuser l’entraînement IA
Le 30 octobre 2026, OpenAI, Google, Microsoft et Anthropic annoncent qu’ils honoreront un seul jeton robots.txt, __usage_ai-training, pour exprimer en une ligne le refus d’entraînement génératif. Le signal est volontaire, non rétroactif et déployé sur quatre calendriers différents : il faut donc l’ajouter tout en conservant les règles par crawler.
30 octobre 2026. OpenAI, Google, Microsoft et Anthropic annoncent qu’ils honoreront un seul jeton de politique robots.txt, __usage_ai-training, pour qu’un site exprime en une directive son refus d’entraînement IA génératif. 30 octobre 2026, même jour. Kevin Kelley, responsable des standards chez Anthropic, dépose auprès de l’IETF l’Internet-Draft « Machine-Readable Training Preference Signal » qui définit le jeton. 30 octobre 2026, encore. Les quatre entreprises ne s’engagent pas sur la même date : Anthropic a déjà commencé, Microsoft vise le 1er février 2027, Google l’année 2027. L’essentiel : le refus d’entraînement devient une préférence unique, lisible par quatre crawlers, mais qui ne s’applique ni au passé ni au crawling.
Pour un éditeur qui maintenait jusqu’ici une ligne robots.txt par crawler — GPTBot, Google-Extended, ClaudeBot — l’annonce réduit une corvée à une seule entrée. Elle ne la supprime pas : le jeton est une promesse volontaire, pas un standard ratifié.
Ce que fait le jeton, concrètement
Le mécanisme réutilise la grammaire existante de robots.txt sans ajouter de directive nouvelle. Un site écrit deux lignes pour tout refuser, avec la possibilité d’exceptions par Allow :
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Un chemin Disallow exprime un refus d’entraînement ; un chemin Allow exprime un accord. Le groupe générique **User-Agent: *** ne compte pas, et un fichier qui ne nomme jamais le jeton n’exprime aucune préférence. La définition de « entraînement » est empruntée au groupe de travail AI Preferences de l’IETF : utiliser un contenu pour modifier les paramètres appris d’un modèle génératif.
Le document qui le porte est un Internet-Draft individuel, déposé par Kelley, daté du 30 octobre 2026 et expirant le 3 mai 2027. L’IETF précise qu’il n’est pas endossé et n’a pas de statut formel dans son processus de standardisation. Le groupe de travail AIPREF, coprésidé par Mark Nottingham (Cloudflare) et Suresh Krishnan (Cisco), rassemble Meta, Cloudflare, la Common Crawl Foundation, News Corp, le Financial Times, la BBC, l’Electronic Frontier Foundation et Creative Commons.
Quatre engagements, quatre calendriers
Les quatre entreprises n’honorent pas le jeton au même rythme. Anthropic a déjà commencé l’implémentation ; OpenAI promet de l’honorer « dans les mois à venir » tout en conservant ses règles par crawler ; Microsoft vise le 1er février 2027 et prévoit un réglage séparé pour le grounding, l’étape de récupération qui insère du contenu vivant dans les réponses ; Google traitera le jeton comme un refus équivalent à Google-Extended, pour un déploiement en 2027.
Pour un éditeur, cela signifie que le jeton n’est que partiellement efficace le premier jour. Tant que chaque entreprise n’a pas livré son support, les règles spécifiques par crawler restent la seule voie fiable. Microsoft distingue aussi deux consentements : l’entraînement modifie les poids d’un modèle, le grounding affiche ou résume du contenu à la requête — et les éditeurs les traitent souvent différemment.
Les trois limites à ne pas oublier
L’annonce a été saluée, mais elle ne fait pas du robots.txt un contrôle de sécurité. Trois limites structurent ce qu’elle change réellement.
- Il ne gouverne pas le crawling. Un crawler peut toujours récupérer une page qui porte le refus. Blocker l’accès exige toujours des règles de crawler classiques ou des contrôles techniques.
- Il est volontaire. OpenAI le décrit comme un « mécanisme de coordination » sous RFC 9309 (le Robots Exclusion Protocol), pas comme un contrôle de sécurité. Un scraper qui ignore robots.txt ignorera aussi le jeton.
- Il n’est pas rétroactif. Modifier robots.txt ne retire pas les contenus déjà présents dans les jeux de données ou les modèles entraînés.
Le même jour, OpenAI publiait par ailleurs une compilation de mémoires judiciaires plaidant que l’entraînement sur des oeuvres protégées relève du fair use dans son contentieux contre le New York Times. Les deux annonces, lues ensemble, dessinent la position des grands laboratoires : un refus moins cher et plus cohérent pour les éditeurs, tandis qu’ils maintiennent devant les tribunaux que l’entraînement ne requiert aucune autorisation préalable.
Ce qu’il faut faire maintenant
La consigne pratique tient en deux gestes, à faire ensemble plutôt que l’un à la place de l’autre.
- Ajouter le jeton dès maintenant. Deux lignes dans robots.txt suffisent, avec des Allow pour les zones que vous souhaitez ouvrir. C’est sans risque et prêt pour le jour où chaque laboratoire l’activera.
- Conserver les règles par crawler. GPTBot, Google-Extended, ClaudeBot et les autres restent la voie fiable jusqu’à ce que les quatre engagements soient livrés, courant 2027.
- Ne pas confondre entraînement et crawling. Si l’objectif est de bloquer la collecte elle-même, le jeton ne suffit pas : il faut des règles de blocage ou des contrôles au niveau du serveur.
La vraie échéance est le 3 mai 2027, date d’expiration du draft. Entre-temps, le document peut changer, et l’adoption réelle se vérifiera dans les journaux serveur, entreprise par entreprise.
Verdict
L’annonce transforme une corvée dispersée en une préférence lisible, mais elle ne remplace rien. Si vous publiez du contenu et refusez l’entraînement IA, ajoutez le jeton __usage_ai-training dès maintenant et gardez vos règles par crawler : vous serez prêt sans rien perdre. Si vous exploitez un site qui doit aussi bloquer la collecte, traitez le jeton comme un signal de préférence, pas comme une barrière, et maintenez vos contrôles techniques. La leçon tient en une phrase : le refus d’entraînement vient de devenir un standard de fait, mais c’est un standard volontaire, prospectif et lent à se matérialiser.