GEO

Robots.txt : un seul jeton pour refuser l’entraînement des IA chez Google, OpenAI, Microsoft et Anthropic

Alexandre

Oct 30, 2026

Le 30 octobre 2026, Google, OpenAI, Microsoft et Anthropic ont annoncé qu’ils respecteraient une même ligne dans le fichier robots.txt pour savoir si vos contenus peuvent servir à l’entraînement IA de leurs modèles génératifs. Fini la liste de robots à tenir à jour un par un. Mais ce signal ne règle ni le passage des robots, ni, dans tous les cas, votre présence dans les réponses IA. Voici ce que les annonceurs doivent retenir, et ce qu’ils doivent faire.

L’essentiel en 30 secondes

Le jeton __usage_ai-training se place dans la ligne User-Agent du robots.txt, comme un nom de robot.
Disallow exprime un refus d’entraînement, Allow un accord. Les deux se combinent par répertoire.
Sans ce groupe, aucune préférence n’est exprimée : l’entraînement reste possible. Un User-Agent: * ne compte pas.
Le jeton ne bloque pas les robots et ne retire pas les contenus déjà intégrés aux modèles.
Chez Google, un refus vaut blocage de Google-Extended, ce qui touche aussi les réponses de Gemini.
Calendrier : Anthropic a commencé l’implémentation, OpenAI suivra dans les prochains mois, Microsoft le 1er février 2027, Google en 2027.

Qu’est-ce que le jeton __usage_ai-training ?

__usage_ai-training est un « policy token » défini par un brouillon de norme déposé à l’IETF le 30 octobre 2026 par Kevin Kelley, ingénieur chez Anthropic, dans le cadre du groupe de travail AI Preferences (AIPREF). Il ne désigne pas un robot, mais un usage : l’entraînement d’IA générative, c’est-à-dire l’utilisation d’un contenu pour modifier les paramètres appris d’un modèle génératif. Les modèles qui ne font que du classement ou de la classification ne sont pas concernés.

La syntaxe du robots.txt ne change pas. L’exemple donné par le brouillon refuse l’entraînement sur tout le site, sauf sur le kit presse :

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Statut : il s’agit d’un Internet-Draft individuel, valable jusqu’au 3 mai 2027. Ce n’est pas encore une norme officielle de l’IETF et le texte peut évoluer.

Qui l’applique, et à partir de quand ?

Acteur	Engagement	Calendrier annoncé
Anthropic (Claude)	Auteur du brouillon, implémentation commencée	Pas de date de mise en service complète
OpenAI (ChatGPT)	Respectera le signal, les règles GPTBot restent valables	« Dans les prochains mois »
Microsoft (Bing, Copilot)	Respectera le signal, ajoute des préférences par page	À partir du 1er février 2027, au fil du crawl
Google (Gemini)	Respectera le signal, Google-Extended reste valable	2027 (début 2027 selon sa documentation des robots)

D’ici là, les contrôles propres à chaque acteur (GPTBot, ClaudeBot, Google-Extended) restent en vigueur et continueront de fonctionner à côté du jeton commun.

Ce que ce jeton ne fait pas

Il ne bloque pas les robots. C’est une préférence d’usage, pas une directive de crawl. Les robots peuvent continuer à visiter vos pages et à solliciter vos serveurs. Pour limiter leur passage, il faut toujours viser leur nom (GPTBot, ClaudeBot, etc.).
Il ne s’active pas avec le joker. Un site qui bloque déjà tous les robots avec User-Agent: * n’a, au sens du brouillon, rien exprimé sur l’entraînement.
Il n’efface pas le passé. Les contenus déjà présents dans des jeux de données ou des modèles existants ne sont pas retirés.
Il ne touche pas au référencement. Le classement dans Google et Bing n’est pas affecté, et l’affichage dans les AI Overviews ou l’AI Mode relève des réglages de Google Search, pas de ce jeton.

Le piège Google : votre visibilité dans Gemini

Google a précisé que si un site refuse l’entraînement via le jeton commun sans mentionner explicitement Google-Extended, il l’interprétera comme un blocage de Google-Extended. Or Google-Extended ne couvre pas seulement l’entraînement de Gemini : il conditionne aussi l’utilisation de vos pages pour ancrer les réponses de Gemini Apps et de Vertex AI. Un Disallow: / général peut donc vous faire sortir des réponses de Gemini, et des clics qui vont avec.

À l’inverse, Google indique que les sites qui autorisent explicitement Google-Extended restent éligibles à l’affichage et aux clics dans Gemini Apps.

Le chantier Bing : NoArchive et NoCache ne suffiront plus

Microsoft profite de l’annonce pour séparer deux préférences. L’entraînement se règle avec le jeton commun dans le robots.txt, ou page par page via balise meta ou en-tête HTTP. Le grounding, c’est-à-dire l’utilisation de vos pages dans les réponses de Bing et de Copilot, se règle page par page. Les deux sont autorisés par défaut, et le classement Bing ne change pas. Vous pouvez donc refuser l’entraînement tout en restant cité dans Copilot.

Date à retenir : après le 1er mars 2027, Bing ne lira plus les balises NoArchive et NoCache comme des préférences IA. Si votre site les utilise pour rester hors de Copilot, publiez les nouvelles préférences avant cette échéance. Un réglage transitoire ouvre dans Bing Webmaster Tools à partir du 15 décembre 2026.

Annonceurs : faut-il bloquer l’entraînement des IA ?

Pour la majorité des marques, non. Vos fiches produits, pages de marque et guides d’achat sont précisément ce qui permet aux modèles de connaître votre offre et de la recommander. Refuser l’entraînement sur tout le site revient à priver les IA de votre propre discours de marque, et chez Google à risquer de disparaître de Gemini.

Le jeton devient utile pour protéger des contenus propriétaires à forte valeur : études, baromètres, livres blancs, contenus réservés aux clients. La bonne pratique consiste alors à cibler les répertoires concernés plutôt que tout le site :

User-Agent: __usage_ai-training
Disallow: /etudes/
Disallow: /livres-blancs/

Tout le reste du site reste ouvert à l’entraînement. Chez Google, ces seuls répertoires sortiront aussi des réponses de Gemini : c’est le prix de la protection, à arbitrer contenu par contenu.

Trois actions à lancer dès maintenant

Auditer votre robots.txt et vos balises. Quels robots IA bloquez-vous aujourd’hui, depuis quand, et pour quelle raison ?
Écrire votre politique en une phrase. Quels contenus voulez-vous voir cités par les IA, lesquels voulez-vous protéger ?
Garder vos règles actuelles jusqu’à la bascule. Conservez GPTBot, ClaudeBot et Google-Extended tant que le jeton n’est pas lu par chaque acteur, et migrez NoArchive et NoCache avant le 1er mars 2027.

Questions fréquentes

Le jeton __usage_ai-training est-il déjà actif ?

Pas encore partout. Anthropic a commencé à l’implémenter, Microsoft le lira à partir du 1er février 2027, Google en 2027 et OpenAI dans les prochains mois. Le texte reste un brouillon IETF, sans valeur de norme officielle.

Refuser l’entraînement me retire-t-il des réponses de ChatGPT ou de Copilot ?

Non, le jeton ne vise que l’entraînement. Chez OpenAI, la présence dans la recherche ChatGPT dépend du robot OAI-SearchBot. Chez Microsoft, elle dépend de la préférence de grounding. L’exception est Google : un refus sans règle Google-Extended explicite touche aussi Gemini Apps.

Un « User-Agent: * » suivi de « Disallow: / » suffit-il à refuser l’entraînement ?

Non. Le brouillon précise que le joker ne vaut pas pour ce jeton. Sans groupe __usage_ai-training dans le fichier, aucune préférence n’est exprimée.

Mes contenus déjà utilisés seront-ils retirés des modèles ?

Non. Le signal s’applique aux collectes à venir. Il ne retire rien des jeux d’entraînement ni des modèles déjà produits.

Avant de toucher à votre robots.txt, sachez ce que les IA citent déjà de votre site. Affilae GEO mesure la présence de votre marque dans ChatGPT, Gemini et Perplexity, identifie les sources qui la citent et active les éditeurs qui comptent.