OpenAI, Google, Microsoft, Anthropic लाएंगे robots.txt का साझा AI मानक

OpenAI, Google, Microsoft और Anthropic ने घोषणा की है कि वे robots.txt के जरिए AI ट्रेनिंग की अनुमति तय करने के लिए एक साझा विनिर्देश (स्पेसिफिकेशन) तैयार कर रही हैं। इसे 2027 में लागू करने का लक्ष्य है।

robots.txt वेबसाइट पर रखी जाने वाली वह फ़ाइल है, जो क्रॉलर यानी साइट से जानकारी जुटाने वाले सिस्टम को बताती है कि किन पन्नों तक पहुंच की अनुमति है। इसके जरिए साइट संचालक तय करते हैं कि सर्च या AI सेवाएं उनकी सामग्री इकट्ठा कर सकती हैं या नहीं। लेकिन AI सेवाओं के मामले में robots.txt को अनदेखा कर डेटा जुटाने के कई उदाहरण सामने आए हैं। जापान में वहां की समाचार पत्र संस्था भी इसे समस्या बता चुकी है।

साइट संचालकों का बोझ घटाने की कोशिश

अब तक संचालकों को हर क्रॉलर को अलग से पहचानना और हर कंपनी के लिए अलग नियम संभालने पड़ते थे। नई पहल का मकसद उद्योग-स्तर के साझा संकेतों के जरिए यह बोझ कम करना है। Google के अनुसार, साइट मालिक robots.txt में साझा “पॉलिसी टोकन” का इस्तेमाल करके सभी भागीदार AI प्रदाताओं के लिए एक साथ सेटिंग तय कर सकेंगे।

Google के उदाहरण में “Google-Extended” की मदद से साइट सर्च क्रॉलिंग की अनुमति रखते हुए Gemini की ट्रेनिंग के लिए इस्तेमाल से इनकार कर सकती है। इसी तरह की सेटिंग को robots.txt की साझा व्यवस्था के रूप में विकसित किया जाएगा।

कब लागू होगा

विनिर्देश Internet Engineering Task Force (IETF) के AI Preferences वर्किंग ग्रुप में चर्चा के बाद तैयार होगा। Google 2027 में इसे लागू करने की योजना बना रहा है, जबकि OpenAI का लक्ष्य आने वाले कुछ महीनों में इसे अपनाना है। Microsoft फरवरी 2027 से इसे लागू करेगा।

साझा मानक बनने के बाद भी कंपनियां अपने अलग क्रॉलर नियंत्रण जारी रखेंगी। Google बारीक सेटिंग के लिए Google-Extended का ही उपयोग करेगा, जबकि Microsoft पेज-स्तर पर ट्रेनिंग सेटिंग और अलग ग्राउंडिंग सेटिंग भी जोड़ेगा।