OpenAI, Google ve Microsoft ortak robots.txt sinyalini destekleyecek

OpenAI, Google ve Microsoft, 30 Ekim'de web sitesi sahiplerinin içeriklerinin yapay zekâ eğitiminde kullanılmasına ilişkin tercihlerini birden fazla şirkete tek seferde iletmesini sağlayan ortak mekanizmayı destekleyeceklerini açıkladı. Anthropic de uygulamaya başladı.

Öneri, Anthropic'in standardizasyon sorumlusu Kevin Kelly'nin aynı gün IETF'ye sunduğu Internet-Draft'ta yer alıyor. “Machine-Readable Training Preference Signal” başlıklı taslak, IETF'nin AI Preferences (AIPREF) çalışma grubundaki tartışmalara dayanıyor. Taslak bireysel olarak sunulduğu için şu an IETF standardizasyon sürecinde resmi bir statüsü yok.

Sistem nasıl çalışıyor

Şimdiye kadar site sahiplerinin her şirketin tarayıcısını ayrı ayrı tanıyıp kural yazması gerekiyordu. Yeni yöntemde robots.txt dosyasında User-Agent satırına “__usage_ai-training” belirteci yazılıyor. Bu belirteç altında “Disallow” eğitimde kullanıma itirazı, “Allow” iznini ifade ediyor. “Disallow: /” ile “Allow: /press-kit/” satırları, /press-kit/ dışındaki tüm yolların eğitimde kullanılmamasını talep ediyor.

Sinyal, klasik tarama denetiminden bağımsız; taramanın kendisini engellemiyor. Belirteç yoksa site, eğitim konusunda bir tercih bildirmemiş sayılıyor. Yeni direktif veya sözdizimi eklenmediği için mevcut ayrıştırıcılar etkilenmiyor. Taslak, “yapay zekâ eğitimi”ni üretken bir modelin parametrelerini değiştirmek için içerik kullanılması olarak tanımlıyor.

Şirketlerin takvimi

OpenAI birkaç ay içinde desteği hayata geçirmeyi hedefliyor ve mevcut robots.txt kuralları geçerliliğini koruyacak. Google 2027'yi hedefliyor. Bir site ortak sinyalle eğitimi reddeder ve Google-Extended'ı açıkça belirtmezse, Google bunu Google-Extended için de ret sayacak.

Microsoft ise 1 Şubat 2027'den itibaren yeni ayarları okuyacak. Sayfa bazında meta etiketleri ve HTTP başlıklarıyla da tercih belirtilebilecek; bunlar robots.txt'e göre öncelikli olacak. Yanıt üretiminde içerik kullanımı (grounding) için Disallow ve DisallowExtended seçenekleri sunulacak. Yeni ayarlar NoArchive ve NoCache'in yerini alıyor; siteler 1 Mart 2027'ye kadar geçiş yapmalı. Ayarlar Bing arama sonuçlarındaki yer almayı etkilemiyor.

Anthropic ise AIPREF posta listesinde uygulamaya başladığını, ancak tüm hizmetlerine yaymanın zaman alacağını bildirdi.