OpenAI وGoogle وMicrosoft وAnthropic تعتمد معيار robots.txt موحدًا للذكاء الاصطناعي

أعلنت OpenAI وGoogle وMicrosoft وAnthropic العمل على مواصفة مشتركة تتيح لأصحاب المواقع تحديد ما إذا كان يمكن استخدام محتواهم في تدريب نماذج الذكاء الاصطناعي، وذلك عبر ملف robots.txt. وتستهدف الشركات تطبيق المعيار في عام 2027.

إشارة واحدة بدل قواعد متعددة

يُستخدم ملف robots.txt لإبلاغ برامج الزحف، مثل زواحف محركات البحث، بالصفحات المسموح لها بالوصول إليها. ومن خلاله يقرر مشغلو المواقع السماح لخدمات البحث أو الذكاء الاصطناعي بجمع المعلومات من صفحات محددة أو من الموقع كله، أو منعها من ذلك. لكن خدمات الذكاء الاصطناعي كثيرًا ما تتجاهل هذا الملف، وهو ما تعده جمعية الصحف في اليابان مشكلة.

وحتى الآن كان على أصحاب المواقع تمييز كل زاحف على حدة وإدارة قواعد خاصة بكل شركة. وتهدف المبادرة الجديدة إلى تخفيف هذا العبء عبر إشارات مشتركة على مستوى القطاع.

وبحسب Google، سيتمكن أصحاب المواقع من استخدام «رمز سياسة» مشترك داخل robots.txt لتحديد التفضيلات لدى جميع مزودي الذكاء الاصطناعي المشاركين. ويستطيع الناشرون حاليًا عبر آلية Google-Extended السماح بالزحف لأغراض البحث مع رفض استخدام المحتوى في تدريب Gemini. وتسعى المبادرة إلى جعل هذه الإعدادات آلية مشتركة في robots.txt.

الجدول الزمني

تجري صياغة المعيار داخل مجموعة العمل AI Preferences التابعة لهيئة Internet Engineering Task Force (IETF). وتخطط Google للتطبيق في 2027، وتهدف OpenAI إلى ذلك خلال الأشهر القليلة المقبلة، فيما ستبدأ Microsoft التطبيق اعتبارًا من فبراير 2027.

وبعد إقرار المواصفة المشتركة، ستواصل الشركات استخدام أدواتها الخاصة للتحكم في الزواحف. وستبقي Google على Google-Extended للإعدادات الأدق، بينما تضيف Microsoft إعدادات للتدريب على مستوى الصفحة الواحدة وإعدادات مستقلة للـ grounding.