OpenAI, Google, Microsoft का AI ट्रेनिंग के लिए एक robots.txt सिग्नल

OpenAI, Google और Microsoft ने 30 अक्टूबर (अमेरिकी समय) को घोषणा की कि वे एक साझा व्यवस्था को अपनाएंगे, जिससे वेबसाइट संचालक कई AI कंपनियों को एक साथ बता सकेंगे कि उनका कंटेंट AI ट्रेनिंग में इस्तेमाल हो या नहीं। Anthropic ने भी इसे लागू करना शुरू कर दिया है।

यह प्रस्ताव Anthropic के मानकीकरण प्रतिनिधि केविन केली ने उसी दिन IETF में Internet-Draft के रूप में जमा किया। अब तक संचालकों को हर AI कंपनी का क्रॉलर पहचानकर अलग-अलग नियम लिखने पड़ते थे। नई व्यवस्था में robots.txt की "User-Agent" पंक्ति में "__usage_ai-training" टोकन लिखा जाता है। उसके नीचे "Disallow" का अर्थ ट्रेनिंग से इनकार और "Allow" का अर्थ अनुमति है। उदाहरण के लिए "Disallow: /" और "Allow: /press-kit/" लिखने पर /press-kit/ को छोड़कर बाकी सब पर इनकार माना जाएगा।

यह क्या नहीं करता

यह सिग्नल क्रॉलिंग को नहीं रोकता। क्रॉल सीमित करने के लिए पुराने क्रॉलर-आधारित नियम ही चलेंगे। टोकन न लिखने पर माना जाएगा कि संचालक ने कोई राय नहीं दी। कोई नया डायरेक्टिव या व्याकरण नहीं जुड़ता, इसलिए मौजूदा पार्सर प्रभावित नहीं होते। ध्यान रहे कि यह ड्राफ्ट व्यक्तिगत नाम से जमा हुआ है और अभी IETF प्रक्रिया में औपचारिक दर्जा नहीं रखता।

कंपनियों की समय-सीमा

OpenAI कुछ महीनों में इसे लागू करने का लक्ष्य रखती है और अन्य कंपनियों से भी इसे मानने का आग्रह किया है। Google 2027 में इसे लागू करना चाहता है। यदि साइट साझा सिग्नल से इनकार करती है और Google-Extended को स्पष्ट रूप से नहीं चुनती, तो उसे Google-Extended से भी इनकार माना जाएगा।

Microsoft 1 फरवरी 2027 से नई सेटिंग्स पढ़ना शुरू करेगी। इसमें meta टैग और HTTP हेडर से पेज-स्तर पर नियंत्रण मिलेगा, जो robots.txt पर प्राथमिकता रखेगा। कंपनी ने NoArchive और NoCache इस्तेमाल करने वाली साइट्स से 1 मार्च 2027 तक नई सेटिंग्स पर जाने को कहा है। Anthropic के अनुसार पूरे सेवा-दायरे में इसे फैलाने में समय लगेगा।