OpenAI, Google и Microsoft поддержат единый сигнал в robots.txt для ИИ

OpenAI, Google и Microsoft объявили 30 октября, что поддержат общий механизм, с помощью которого владельцы сайтов смогут сразу сообщить нескольким ИИ-компаниям о своём отношении к использованию контента для обучения моделей. Внедрение начала и Anthropic.

Предложение изложено в Internet-Draft, который в тот же день подал в IETF Кевин Келли, отвечающий в Anthropic за стандартизацию. Документ «Machine-Readable Training Preference Signal» основан на обсуждениях в рабочей группе AI Preferences (AIPREF). Черновик подан от личного имени, поэтому формального статуса в процессе стандартизации IETF у него пока нет.

Как это работает

Раньше владельцам сайтов приходилось определять краулеры каждой компании и писать отдельные правила. Теперь в robots.txt в строке User-Agent достаточно указать токен «__usage_ai-training». Под ним «Disallow» означает отказ от использования для обучения, «Allow» — согласие. Например, «Disallow: /» и «Allow: /press-kit/» исключают из обучения всё, кроме раздела /press-kit/.

Сигнал не зависит от обычного управления обходом и сам по себе не запрещает краулинг. Если токен не указан, считается, что сайт не высказал позиции по обучению. Новых директив и синтаксиса нет, поэтому работа существующих парсеров не меняется. Под обучением понимается использование контента для изменения параметров генеративной модели.

Планы компаний

OpenAI рассчитывает внедрить поддержку в течение нескольких месяцев; действующие правила robots.txt продолжат работать. Google нацелена на 2027 год. Если сайт запретил обучение общим сигналом и явно не задал Google-Extended, компания будет считать запрет действующим и для Google-Extended.

Microsoft начнёт считывать новые настройки с 1 февраля 2027 года. Появятся также настройки на уровне страницы через meta-теги и HTTP-заголовки с приоритетом над robots.txt. Для граундинга, то есть использования контента при генерации ответов, добавят варианты Disallow и DisallowExtended. Они заменят NoArchive и NoCache, перейти на них сайтам нужно до 1 марта 2027 года. На присутствие в выдаче Bing настройки не влияют.

Anthropic сообщила в рассылке AIPREF, что начала реализацию, но распространение на все сервисы займёт время.