OpenAI, Google y Microsoft respaldarán una señal única en robots.txt para la IA

OpenAI, Google y Microsoft anunciaron el 30 de octubre que admitirán un mecanismo común para que los administradores de sitios web indiquen a varias empresas de IA si su contenido puede usarse para entrenamiento. Anthropic también ha empezado a implementarlo.

La propuesta procede de un Internet-Draft titulado «Machine-Readable Training Preference Signal», que Kevin Kelly, responsable de estandarización de Anthropic, presentó ese mismo día ante la IETF. Se basa en los debates del grupo de trabajo AI Preferences (AIPREF). Hasta ahora, cada administrador debía identificar el rastreador de cada empresa y redactar reglas independientes.

Un token común en robots.txt

El sitio añade el token «__usage_ai-training» en la línea User-Agent de robots.txt. «Disallow» expresa el rechazo al entrenamiento y «Allow» lo permite. Bloquear «/» y permitir «/press-kit/» equivale a rechazar el uso de todo el contenido salvo el kit de prensa.

La señal es independiente del control de rastreo y no impide el rastreo en sí; para eso se mantienen las reglas específicas de cada rastreador. Si no se define el token, se entiende que el sitio no ha expresado preferencia. Como no introduce nuevas directivas ni sintaxis, los analizadores actuales no se ven afectados. Cubre el entrenamiento que modifica los parámetros de modelos de IA generativa. Las empresas pueden seguir dando prioridad a sus propios controles o respetar contratos individuales. El borrador se presentó a título personal y aún no tiene estatus formal en la IETF.

Calendarios de cada empresa

OpenAI prevé la compatibilidad en los próximos meses y publicará detalles entonces. Google apunta a 2027. Si un sitio rechaza el entrenamiento con la señal común y no ha configurado Google-Extended de forma explícita, Google tratará también Google-Extended como rechazado. Los sitios que lo permitan expresamente podrán usarse en el «grounding» de la app Gemini y recibir clics.

Microsoft empezará a leer los nuevos ajustes el 1 de febrero de 2027. Añade controles por página mediante etiquetas meta y cabeceras HTTP, que prevalecen sobre robots.txt, y opciones de grounding como «Disallow» y «DisallowExtended». Sustituyen a «NoArchive» y «NoCache», que deben migrarse antes del 1 de marzo de 2027. La presencia en Bing no cambia.

Anthropic afirma que ya ha comenzado la implementación, aunque extenderla a todos sus servicios llevará tiempo. El anuncio llega en pleno aumento de demandas de editores por el uso de contenido web.