Microsoft и Google поддержали единый запрет на обучение ИИ на контенте сайтов

Microsoft 30 октября объявила новые правила использования содержимого сайтов в своих ИИ-продуктах. Владельцы ресурсов смогут отдельно запрещать обучение моделей на своих материалах и их использование при генерации ответов Bing и Copilot. В обычной поисковой выдаче страницы при этом могут оставаться.

В тот же день Google сообщила, что тоже намерена поддержать общий механизм запрета на обучение ИИ. Компании ориентируются на разрабатываемый в IETF стандарт: он позволит задавать ограничения сразу для нескольких поставщиков ИИ, а не прописывать правила для каждого поискового робота.

Два способа использования материалов

Microsoft разделяет AI Training и AI Grounding. Первое — обучение моделей на текстах, изображениях и других материалах; после него модель может воспроизводить усвоенные сведения, не обращаясь к сайту. Второе — ситуация, когда ИИ обращается к материалам, чтобы ответить на конкретный вопрос пользователя: пересказывает статью, использует факты и приводит ссылку на источник.

Запрет обучения для всего сайта задаётся двумя строками в robots.txt и не влияет на индексацию. Запрет grounding в robots.txt указать нельзя: для него используется метатег в HTML либо HTTP-заголовок. Есть и промежуточный вариант ai-grounding:disallowextended: он разрешает использование в продуктах Microsoft, включая Copilot, но запрещает передавать материалы сторонним разработчикам через Web IQ и Foundry API. Ограничения независимы, а если владелец ничего не указал, Microsoft считает разрешёнными оба способа.

Сроки и оговорки

Правила начнут действовать с 1 февраля 2027 года по мере повторного обхода сайтов. Для использующих NoArchive и NoCache предусмотрен переходный период до 1 марта 2027 года; для сохранения запрета на grounding до переиндексации может потребоваться временная настройка в Bing Webmaster Tools.

Google планирует внедрить поддержку в течение 2027 года. Если сайт запретит обучение новой директивой и не задаст отдельных правил для Google-Extended, Google будет считать обучение запрещённым; настройки Google-Extended сохранят приоритет. Поддержку AI Grounding компания пока не анонсировала.

Проект IETF ещё не стал утверждённым стандартом, а директивы — лишь заявление о предпочтениях владельца, а не техническая защита от копирования. Их соблюдение зависит от компаний. Microsoft предупреждает, что запрет grounding снизит присутствие сайта в ИИ-ответах и трафик оттуда. Компенсации за разрешённое использование материалов правила не предусматривают.