OpenAI, Google, Microsoft i Anthropic: wspólny standard robots.txt dla AI

OpenAI, Google, Microsoft i Anthropic ogłosiły prace nad wspólną specyfikacją, dzięki której właściciele witryn będą mogli w pliku robots.txt określać, czy treści mogą służyć do trenowania modeli AI. Wdrożenie zaplanowano na 2027 rok.

Jeden sygnał zamiast wielu reguł

Plik robots.txt wskazuje robotom indeksującym, takim jak crawlery wyszukiwarek, które strony wolno odwiedzać. Operatorzy serwisów decydują w nim, czy usługi wyszukiwania lub AI mogą zbierać dane z wybranych stron albo z całej witryny. Problem w tym, że usługi AI często ignorują robots.txt. W Japonii kwestionuje to m.in. stowarzyszenie wydawców gazet.

Dotychczas administratorzy musieli osobno rozpoznawać poszczególne crawlery i zarządzać regułami dla każdej firmy. Nowa inicjatywa ma odciążyć właścicieli stron dzięki sygnałom wspólnym dla całej branży.

Według Google właściciele witryn będą mogli użyć w robots.txt wspólnego „tokenu polityki”, który obejmie ustawienia u wszystkich uczestniczących dostawców AI. Obecnie wydawca może dzięki mechanizmowi Google-Extended dopuścić crawlowanie na potrzeby wyszukiwarki, a jednocześnie zablokować trenowanie Gemini. Takie rozwiązanie ma stać się wspólnym elementem robots.txt.

Harmonogram wdrożeń

Standard powstaje w grupie roboczej AI Preferences organizacji Internet Engineering Task Force (IETF). Google planuje wdrożenie w 2027 roku, OpenAI chce to zrobić w ciągu kilku najbliższych miesięcy, a Microsoft zacznie stosować nowe zasady od lutego 2027 roku.

Po ustaleniu wspólnej specyfikacji firmy zachowają własne mechanizmy kontroli crawlerów. Google nadal będzie oferować bardziej szczegółowe ustawienia przez Google-Extended, a Microsoft doda m.in. ustawienia trenowania na poziomie pojedynczych stron oraz odrębne ustawienia groundingu.