OpenAI, Google i Microsoft wesprą wspólny sygnał w robots.txt dla AI

OpenAI, Google i Microsoft ogłosiły 30 października, że obsłużą wspólny mechanizm, dzięki któremu właściciele stron mogą jednocześnie poinformować wiele firm AI o swojej woli w sprawie wykorzystania treści do trenowania modeli. Wdrażanie rozpoczął też Anthropic.

Propozycję zawiera Internet-Draft, który tego samego dnia do organizacji standaryzacyjnej IETF złożył Kevin Kelly, odpowiedzialny w Anthropic za standaryzację. Dokument „Machine-Readable Training Preference Signal” opiera się na dyskusjach w grupie roboczej AI Preferences (AIPREF). Projekt złożono w imieniu własnym, więc nie ma on formalnego statusu w procesie standaryzacji IETF.

Jak działa nowy sygnał

Dotychczas właściciele serwisów musieli rozpoznawać roboty poszczególnych firm i pisać osobne reguły. Teraz wystarczy w pliku robots.txt użyć w linii User-Agent tokenu „__usage_ai-training”. Dyrektywa „Disallow” oznacza sprzeciw wobec trenowania, a „Allow” zgodę. Wpisy „Disallow: /” oraz „Allow: /press-kit/” wykluczają więc z treningu wszystko poza katalogiem /press-kit/.

Sygnał jest niezależny od kontroli indeksowania i nie blokuje samego crawlowania. Brak tokenu oznacza brak deklaracji w sprawie trenowania. Rozwiązanie nie wprowadza nowych dyrektyw ani składni, więc nie wpływa na działanie istniejących parserów. Trenowanie zdefiniowano jako użycie treści do zmiany parametrów generatywnego modelu AI.

Plany firm

OpenAI chce wdrożyć obsługę w ciągu kilku miesięcy i zachowa dotychczasowe reguły robots.txt. Google celuje w rok 2027. Jeśli strona odmówi wspólnym sygnałem i nie wskaże jawnie Google-Extended, firma potraktuje to także jako sprzeciw wobec Google-Extended.

Microsoft zacznie odczytywać nowe ustawienia 1 lutego 2027 r. Umożliwi też kontrolę na poziomie strony przez znaczniki meta i nagłówki HTTP, które będą miały pierwszeństwo przed robots.txt. Nowe opcje, w tym Disallow i DisallowExtended dla groundingu, zastąpią NoArchive i NoCache. Witryny powinny przejść na nie do 1 marca 2027 r. Ustawienia nie wpływają na obecność w wynikach Bing.

Anthropic poinformował na liście dyskusyjnej AIPREF, że rozpoczął implementację, ale objęcie całej oferty zajmie czas.