Consejos

Robots.txt y entrenamiento de IA: un único token para Google, OpenAI, Microsoft y Anthropic

Alexandre

Nov 03, 2026

El 30 de octubre de 2026, Google, OpenAI, Microsoft y Anthropic anunciaron que respetarán una misma línea del archivo robots.txt para saber si sus contenidos pueden usarse en el entrenamiento de IA de sus modelos generativos. Una sola instrucción sustituye ahora las reglas específicas de cada proveedor de IA. Pero esta señal no controla el rastreo y no siempre protege su visibilidad en las respuestas de IA. Esto es lo que los anunciantes deben saber, y lo que deben hacer.

Lo esencial en 30 segundos

El token __usage_ai-training se escribe en lugar del nombre del rastreador, en la línea User-Agent del robots.txt.
Disallow expresa un rechazo al entrenamiento, Allow una autorización, y cada directorio puede tener su propia regla.
Sin este grupo no se expresa ninguna preferencia y el entrenamiento sigue siendo posible. Un User-Agent: * no cuenta.
El token no bloquea a los rastreadores ni retira los contenidos ya incorporados a los modelos.
En Google, un rechazo equivale a bloquear Google-Extended, lo que también afecta a las respuestas de Gemini.
Calendario: Anthropic ya inició la implementación, OpenAI lo hará en los próximos meses, Microsoft el 1 de febrero de 2027 y Google en 2027.

¿Qué es el token __usage_ai-training?

__usage_ai-training es un «policy token» definido en un borrador de norma presentado ante el IETF el 30 de octubre de 2026 por Kevin Kelley, ingeniero de Anthropic, en el marco del grupo de trabajo AI Preferences (AIPREF). No designa a un rastreador, sino un uso: el entrenamiento de IA generativa, es decir, el uso de un contenido para modificar los parámetros aprendidos de un modelo generativo. Los modelos que solo clasifican u ordenan contenidos quedan fuera.

La sintaxis del robots.txt no cambia. El ejemplo del borrador rechaza el entrenamiento en todo el sitio, salvo en el kit de prensa:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Estado: se trata de un Internet-Draft individual, válido hasta el 3 de mayo de 2027. Todavía no es una norma del IETF y puede cambiar.

¿Quién lo aplica y a partir de cuándo?

Proveedor	Compromiso	Calendario anunciado
Anthropic (Claude)	Autor del borrador, implementación en curso	Sin fecha de soporte completo
OpenAI (ChatGPT)	Respetará la señal, las reglas de GPTBot siguen vigentes	«En los próximos meses»
Microsoft (Bing, Copilot)	Respetará la señal, añade preferencias por página	A partir del 1 de febrero de 2027, a medida que rastrea
Google (Gemini)	Respetará la señal, Google-Extended sigue vigente	2027 (a principios de 2027 según su documentación de rastreadores)

Mientras tanto, los controles propios de cada proveedor (GPTBot, ClaudeBot, Google-Extended) siguen vigentes y seguirán funcionando junto al token común.

Lo que este token no hace

No bloquea a los rastreadores. Es una preferencia de uso, no una directiva de rastreo. Los bots pueden seguir recorriendo sus páginas y consumiendo ancho de banda. Para limitar el rastreo, hay que seguir apuntando a cada rastreador por su nombre (GPTBot, ClaudeBot, etc.).
No se activa con el comodín. Un sitio que ya bloquea todos los bots con User-Agent: * no ha expresado, según el borrador, nada sobre el entrenamiento.
No borra el pasado. Los contenidos ya incluidos en conjuntos de datos o modelos existentes no se retiran.
No afecta al posicionamiento. El ranking en Google y Bing no cambia, y la aparición en AI Overviews o AI Mode depende de los ajustes de Google Search, no de este token.

La trampa de Google: su visibilidad en Gemini

Google ha precisado que, si un sitio rechaza el entrenamiento mediante el token común sin mencionar explícitamente Google-Extended, lo interpretará como un bloqueo de Google-Extended. Ahora bien, Google-Extended no solo cubre el entrenamiento de Gemini: también determina si sus páginas pueden servir de base (grounding) para las respuestas de Gemini Apps y Vertex AI. Un Disallow: / general puede, por tanto, sacarle de las respuestas de Gemini y de los clics que generan.

Por el contrario, Google indica que los sitios que autorizan explícitamente Google-Extended siguen pudiendo aparecer y recibir clics en Gemini Apps.

El plazo de Bing: NoArchive y NoCache ya no bastarán

Microsoft aprovecha el anuncio para separar dos preferencias. El entrenamiento se configura con el token común en el robots.txt, o página por página mediante una etiqueta meta o un encabezado HTTP. El grounding, es decir, el uso de sus páginas en las respuestas de Bing y Copilot, se configura página por página. Ambos están permitidos por defecto y el ranking en Bing no cambia. Por lo tanto, puede rechazar el entrenamiento y seguir siendo citado en Copilot.

Fecha clave: a partir del 1 de marzo de 2027, Bing dejará de leer las etiquetas NoArchive y NoCache como preferencias de IA. Si su sitio las utiliza para quedar fuera de Copilot, publique las nuevas preferencias antes de esa fecha. Un ajuste transitorio estará disponible en Bing Webmaster Tools a partir del 15 de diciembre de 2026.

Anunciantes: ¿conviene bloquear el entrenamiento de IA?

Para la mayoría de las marcas, no. Sus fichas de producto, páginas de marca y guías de compra son precisamente lo que permite a los modelos conocer su oferta y recomendarla. Rechazar el entrenamiento en todo el sitio priva a las IA de su propio discurso de marca y, en Google, puede hacerle desaparecer de Gemini.

El token resulta útil para proteger contenidos propios de alto valor: estudios, barómetros, libros blancos, contenidos reservados a clientes. La buena práctica consiste en apuntar a esos directorios en lugar de a todo el sitio:

User-Agent: __usage_ai-training
Disallow: /estudios/
Disallow: /libros-blancos/

El resto del sitio sigue abierto al entrenamiento. En Google, solo esos directorios saldrán también de las respuestas de Gemini: es el precio de la protección, que conviene evaluar contenido por contenido.

Tres acciones para poner en marcha ya

Auditar su robots.txt y sus etiquetas. ¿Qué rastreadores de IA bloquea hoy, desde cuándo y por qué?
Escribir su política en una frase. ¿Qué contenidos quiere que las IA citen y cuáles quiere proteger?
Mantener sus reglas actuales hasta el cambio. Conserve las reglas de GPTBot, ClaudeBot y Google-Extended hasta que cada proveedor lea efectivamente el token, y abandone NoArchive y NoCache antes del 1 de marzo de 2027.

Preguntas frecuentes

¿El token __usage_ai-training ya está activo?

Todavía no en todas partes. Anthropic ya inició la implementación, Microsoft lo leerá a partir del 1 de febrero de 2027, Google en 2027 y OpenAI en los próximos meses. El texto sigue siendo un borrador del IETF, sin valor de norma oficial.

¿Rechazar el entrenamiento me saca de las respuestas de ChatGPT o Copilot?

No, el token solo afecta al entrenamiento. En OpenAI, la presencia en la búsqueda de ChatGPT depende del rastreador OAI-SearchBot. En Microsoft, depende de la preferencia de grounding. La excepción es Google: un rechazo sin una regla explícita para Google-Extended también afecta a Gemini Apps.

¿Basta con «User-Agent: *» seguido de «Disallow: /» para rechazar el entrenamiento?

No. El borrador precisa que el comodín no se aplica a este token. Sin un grupo __usage_ai-training en el archivo, no se expresa ninguna preferencia.

¿Se retirarán de los modelos los contenidos ya utilizados?

No. La señal se aplica a las recopilaciones futuras. No retira nada de los conjuntos de entrenamiento ni de los modelos ya existentes.

Antes de modificar su robots.txt, descubra qué citan ya las IA de su sitio. Affilae GEO mide la presencia de su marca en ChatGPT, Gemini y Perplexity, identifica las fuentes que la citan y activa a los editores que realmente cuentan. Solicite su auditoría GEO gratuita.