OpenAI, Google, Microsoft ve Anthropic'ten ortak robots.txt AI standardı

OpenAI, Google, Microsoft ve Anthropic, web sitesi sahiplerinin robots.txt dosyası üzerinden içeriklerinin yapay zekâ eğitiminde kullanılıp kullanılamayacağını belirlemesini sağlayacak ortak bir spesifikasyon üzerinde çalıştığını duyurdu. Standardın 2027'de devreye alınması hedefleniyor.

Her şirket için ayrı kural dönemi sona erebilir

robots.txt, arama motorları gibi tarayıcılara (crawler) hangi sayfalara erişebileceklerini bildiren bir dosya. Site yöneticileri bu dosyayla arama veya yapay zekâ hizmetlerinin belirli sayfalardan ya da tüm siteden bilgi toplamasına izin verebiliyor ya da bunu reddedebiliyor. Ancak yapay zekâ hizmetlerinin robots.txt'yi çoğu zaman yok sayarak veri topladığı belirtiliyor. Japonya'da gazete yayıncıları birliği de bu durumu sorun olarak görüyor.

Şimdiye kadar site sahiplerinin tarayıcıları tek tek tanıması ve her şirket için ayrı kurallar yönetmesi gerekiyordu. Yeni girişim, sektör genelinde ortak sinyaller kullanarak bu yükü azaltmayı amaçlıyor.

Google'a göre site sahipleri robots.txt içinde ortak bir “politika belirteci” kullanarak, katılımcı tüm yapay zekâ sağlayıcıları için tercihlerini tanımlayabilecek. Bugün yayıncılar Google-Extended ile aramada taramaya izin verip Gemini eğitimini reddedebiliyor. Girişim, bu tür ayarları robots.txt'de ortak bir mekanizma hâline getiriyor.

Uygulama takvimi

Standart, Internet Engineering Task Force (IETF) bünyesindeki AI Preferences çalışma grubunda hazırlanıyor. Google 2027'de devreye almayı planlıyor, OpenAI önümüzdeki birkaç ay içinde uygulamayı hedefliyor, Microsoft ise Şubat 2027'den itibaren uygulayacak.

Ortak spesifikasyon belirlendikten sonra şirketlerin kendi tarayıcı denetimleri de sürecek. Google daha ayrıntılı ayarlar için Google-Extended'ı kullanmayı sürdürecek. Microsoft ise sayfa bazında eğitim ayarları ve ayrı grounding ayarları ekleyecek.