Osegi
ИИ·1 мин чтения

Google начнёт учитывать единый токен IETF для обучения ИИ в robots.txt

С 2027 года Google планирует учитывать в robots.txt единый токен IETF, который показывает, можно ли использовать контент для обучения ИИ. Google-Extended останется.

Illustration of a robots.txt file on a screen with a blocked AI crawler symbol next to a Google logo.
Фото: iX Magazin
SUMODialoediviewer

Google планирует с 2027 года учитывать в файле robots.txt единый токен, разработанный в рамках IETF, который сообщает, можно ли использовать контент сайта для обучения моделей искусственного интеллекта. Решение не привязано к одному поставщику: идея в том, чтобы одной записи хватало для передачи воли владельца сайта всем компаниям, обучающим ИИ.

Одна запись вместо многих

Раньше владельцам сайтов, желавшим ограничить использование материалов для обучения ИИ, приходилось по отдельности указывать каждого бота. У каждой компании свои названия и правила, поэтому список растёт, а за появлением новых краулеров нужно следить. Общий токен должен упростить задачу: сигнал, записанный стандартным способом, будет понятен всем, кто решит его соблюдать.

При этом Google не отказывается от действующего механизма. Токен Google-Extended сохранится для исключений — на случай, если издателю нужно задать для Google правило, отличающееся от общего.

Что это значит для издателей

Для администраторов сайтов и издателей это потенциально меньше работы по управлению доступом ботов и больше прозрачности. Одно правило в robots.txt может заменить растущий список записей для отдельных поставщиков. Однако эффективность подхода будет зависеть от того, примут ли общий токен другие компании: robots.txt держится на добровольном соблюдении правил ботами.

Срок — 2027 год — показывает, что внедрение произойдёт не сразу. До тех пор издателям, которые хотят контролировать использование контента для обучения ИИ, стоит продолжать пользоваться действующими токенами, включая Google-Extended.

Приложения, на которые стоит взглянуть

SUMO: числовая головоломка

Выбирайте нужные клетки, складывайте, достигайте цели. Легко понять, сложно освоить. Бесплатно, для любого возраста.

Теги:googlerobots.txtietfai traininggoogle-extendedweb crawlers

Ещё за этот день

Показать все →

Ещё в рубрике: ИИ

Показать все →