OpenAI وGoogle وMicrosoft تدعم إشارة موحدة في robots.txt لتدريب الذكاء الاصطناعي

أعلنت OpenAI وGoogle وMicrosoft في 30 أكتوبر دعم آلية موحدة تتيح لأصحاب المواقع إبلاغ عدة شركات ذكاء اصطناعي دفعة واحدة بموقفهم من استخدام محتواهم في تدريب النماذج. وبدأت Anthropic بدورها تنفيذ الآلية.

يرد الاقتراح في مسودة Internet-Draft قدمها في اليوم نفسه إلى هيئة المعايير IETF كيفن كيلي، المسؤول عن التوحيد القياسي في Anthropic. وتستند المسودة المعنونة «Machine-Readable Training Preference Signal» إلى نقاشات مجموعة العمل AI Preferences (AIPREF). وقُدمت المسودة بصفة شخصية، لذا لا تملك حاليًا وضعًا رسميًا ضمن عملية التوحيد في IETF.

كيف تعمل الآلية

كان على أصحاب المواقع حتى الآن التعرف على زواحف كل شركة وكتابة قواعد مستقلة لها. أما الآن فيكفي ذكر الرمز «__usage_ai-training» في سطر User-Agent داخل ملف robots.txt. وتحت هذا الرمز يعني «Disallow» رفض الاستخدام في التدريب، ويعني «Allow» السماح به. فإضافة «Disallow: /» و«Allow: /press-kit/» تطلب استبعاد كل المسارات من التدريب عدا /press-kit/.

الإشارة مستقلة عن التحكم المعتاد في الزحف، ولا تمنع الزحف نفسه. وإذا غاب الرمز فيُعد الموقع غير معبّر عن أي تفضيل بشأن التدريب. ولا تُدخل الآلية أوامر أو صياغة جديدة، فلا تتأثر المحللات الحالية. ويُعرّف التدريب بأنه استخدام المحتوى لتغيير معاملات نموذج توليدي.

جداول الشركات

تستهدف OpenAI التنفيذ خلال أشهر قليلة مع استمرار قواعد robots.txt الحالية. وتستهدف Google عام 2027؛ وإذا رفض الموقع التدريب بالإشارة الموحدة ولم يحدد Google-Extended صراحة، فستعد الرفض شاملًا Google-Extended أيضًا.

وستبدأ Microsoft قراءة الإعدادات الجديدة في 1 فبراير 2027، مع إتاحة التحكم على مستوى الصفحة عبر وسوم meta ورؤوس HTTP، وتكون لها الأولوية على robots.txt. كما ستقدم خيارَي Disallow وDisallowExtended للاستناد إلى المحتوى عند توليد الإجابات، وهي تحل محل NoArchive وNoCache، ويُطلب من المواقع الانتقال إليها قبل 1 مارس 2027. ولا تؤثر الإعدادات على ظهور الصفحات في نتائج Bing.

وأبلغت Anthropic عبر القائمة البريدية لـ AIPREF أنها بدأت التنفيذ، لكن تعميمه على جميع خدماتها سيستغرق وقتًا.