robots.txt : OpenAI, Google et Microsoft adoptent un signal anti-entraînement IA

OpenAI, Google et Microsoft ont annoncé le 30 octobre qu’ils prendraient en charge un mécanisme commun permettant aux éditeurs de sites d’indiquer à plusieurs entreprises d’IA si leurs contenus peuvent servir à l’entraînement. Anthropic a également commencé à le mettre en œuvre.

La proposition figure dans un Internet-Draft intitulé « Machine-Readable Training Preference Signal », déposé le même jour auprès de l’IETF par Kevin Kelly, responsable de la normalisation chez Anthropic. Elle s’appuie sur les travaux du groupe AI Preferences (AIPREF). Jusqu’ici, chaque éditeur devait identifier le robot de chaque entreprise et rédiger des règles distinctes.

Un jeton unique dans robots.txt

Le site ajoute le jeton « __usage_ai-training » à la ligne User-Agent du fichier robots.txt. « Disallow » exprime un refus de l’entraînement, « Allow » une autorisation. Interdire « / » tout en autorisant « /press-kit/ » revient à refuser l’usage pour tout le site, sauf le dossier de presse.

Ce signal est indépendant du contrôle d’exploration et n’interdit pas le crawl lui-même ; pour cela, les règles propres à chaque robot restent nécessaires. Sans jeton, le site est réputé n’avoir exprimé aucune préférence. Aucune nouvelle directive ni syntaxe n’étant introduite, les analyseurs existants ne sont pas affectés. Le texte vise l’entraînement qui modifie les paramètres de modèles d’IA générative. Les entreprises peuvent toujours privilégier leurs propres outils ou respecter des contrats particuliers. Déposé à titre individuel, le brouillon n’a pas encore de statut officiel à l’IETF.

Des calendriers différents

OpenAI vise une prise en charge dans les prochains mois et donnera des précisions à ce moment-là. Google table sur 2027. Si un site refuse l’entraînement via le signal commun sans avoir défini explicitement Google-Extended, Google considérera aussi ce dernier comme refusé. Les sites qui autorisent explicitement Google-Extended peuvent être utilisés pour l’ancrage des réponses de l’application Gemini et obtenir des clics.

Microsoft lira les nouveaux réglages dès le 1er février 2027. Elle ajoute des contrôles par page via balises meta et en-têtes HTTP, prioritaires sur robots.txt, ainsi que des options d’ancrage comme « Disallow » et « DisallowExtended ». Ils remplacent « NoArchive » et « NoCache », à migrer avant le 1er mars 2027. Le référencement dans Bing n’est pas touché.

Anthropic affirme avoir commencé l’implémentation, l’extension à l’ensemble de ses services prendra du temps. L’initiative intervient alors que les procès d’éditeurs se multiplient.