AI3 lis 2026, 00:42 UTC·1 min czytania

Google będzie czytać uniwersalny token IETF dla trenowania AI w robots.txt

Od 2027 roku Google planuje odczytywać w robots.txt neutralny wobec firm token IETF, który zdradza, czy treści wolno wykorzystać do trenowania AI.

Zdjęcie: iX Magazin

SUMO

Dialo

ediviewer

Google chce od 2027 roku uwzględniać w pliku robots.txt ujednolicony token opracowany w ramach IETF, który określa, czy treści z danej witryny mogą posłużyć do trenowania modeli sztucznej inteligencji. Rozwiązanie nie jest przypisane do jednego dostawcy, a jego celem jest to, by jeden wpis wystarczył do zakomunikowania decyzji wszystkim firmom trenującym AI.

Jeden wpis zamiast wielu

Dotychczas właściciele serwisów musieli osobno wskazywać poszczególne boty, jeśli chcieli ograniczyć wykorzystanie swoich treści do trenowania AI. Każda firma stosuje własne nazwy i zasady, więc lista wpisów rośnie, a jej utrzymanie wymaga pilnowania nowych crawlerów. Wspólny token ma ten problem uprościć: sygnał zapisany w standardowy sposób powinien być zrozumiały dla wszystkich, którzy zdecydują się go respektować.

Google zapowiada jednocześnie, że nie rezygnuje z dotychczasowego mechanizmu. Token Google-Extended pozostanie dostępny dla wyjątków, czyli sytuacji, w których wydawca chce ustawić dla Google regułę inną niż ogólna.

Co to oznacza dla wydawców

Dla administratorów stron i wydawców to potencjalnie mniej pracy przy zarządzaniu dostępem botów oraz większa przejrzystość. Jedna reguła w robots.txt mogłaby zastąpić rosnącą listę wpisów dla poszczególnych dostawców. Skuteczność całego rozwiązania będzie jednak zależeć od tego, czy inne firmy również zaczną respektować wspólny token, ponieważ robots.txt opiera się na dobrowolnym przestrzeganiu zasad przez boty.

Termin 2027 pokazuje, że wdrożenie nie nastąpi od razu. Do tego czasu wydawcy powinni nadal korzystać z obecnych tokenów, w tym Google-Extended, jeśli chcą kontrolować wykorzystanie treści do trenowania AI.