Google присоединилась к OpenAI: новое правило robots.txt против обучения ИИ

Google объявила, что присоединяется к OpenAI, Anthropic и Microsoft в поддержке новой директивы файла robots.txt. Она должна дать владельцам сайтов больше контроля над тем, как их контент используется для обучения генеративных моделей искусственного интеллекта.

Новая директива упрощает запрет на сбор материалов сайтов для обучения моделей. Раньше издателям приходилось прописывать отдельные правила для поискового робота каждой компании. Предлагаемая система вводит единый сигнал, который распознают и соблюдают участвующие компании.

Владельцы сайтов смогут с помощью специального пользовательского агента указать страницы или разделы, которые нельзя использовать для обучения систем ИИ, и при этом открыть доступ к отдельным частям ресурса, например новостным страницам или материалам, предназначенным для публикации.

Поисковая выдача не затрагивается

Компании подчёркивают, что директива не мешает показу сайтов в результатах поиска и касается только сбора данных для обучения моделей. В Google новый сигнал будут считать инструкцией для агента Google-Extended, который собирает материалы для обучения моделей Gemini.

Поэтапное внедрение в 2027 году

Anthropic уже начала поддерживать директиву. Microsoft планирует применять её с 1 февраля 2027 года. Google должна подключиться в начале того же года, а OpenAI заявила, что внедрит систему в ближайшие месяцы.

Директива не повлияет на данные, которые компании уже собрали: она регулирует только будущий сбор контента.

Шаг стал важным этапом в отношениях ИИ-компаний и издателей на фоне растущих требований дать правообладателям больше возможностей решать, как их работы применяются при разработке генеративных моделей.