OpenAI, Google, Microsoft и Anthropic внедрят единый стандарт robots.txt для ИИ

OpenAI, Google, Microsoft и Anthropic объявили о разработке общей спецификации, которая позволит владельцам сайтов указывать в файле robots.txt, можно ли использовать их материалы для обучения ИИ. Внедрение запланировано на 2027 год.

Один сигнал вместо набора правил

Файл robots.txt сообщает поисковым и другим роботам-краулерам, к каким страницам у них есть доступ. С его помощью администраторы решают, могут ли поисковые или ИИ-сервисы собирать данные с отдельных страниц или со всего сайта. Однако ИИ-сервисы нередко игнорируют robots.txt, и в Японии эту проблему поднимала, в частности, газетная ассоциация.

Раньше владельцам сайтов приходилось отдельно распознавать каждый краулер и вести правила для каждой компании. Новая инициатива должна снизить нагрузку за счёт общих для отрасли сигналов.

По данным Google, владельцы сайтов смогут использовать в robots.txt общий «токен политики», задающий настройки сразу для всех участвующих ИИ-провайдеров. Сейчас через механизм Google-Extended издатель может разрешить сканирование для поиска и при этом запретить обучение Gemini. Теперь такие настройки хотят сделать общей частью robots.txt.

Сроки внедрения

Стандарт разрабатывается в рабочей группе AI Preferences организации Internet Engineering Task Force (IETF). Google планирует внедрить его в 2027 году, OpenAI рассчитывает сделать это в ближайшие несколько месяцев, а Microsoft начнёт применять новые правила с февраля 2027 года.

После утверждения общей спецификации компании сохранят собственные средства управления краулерами. Google продолжит предлагать более тонкие настройки через Google-Extended, а Microsoft добавит параметры обучения на уровне отдельных страниц и отдельные настройки граундинга.