Osegi
AI·1 मिनट में पढ़ें

Google 2027 से robots.txt में IETF का सार्वभौमिक AI ट्रेनिंग टोकन मानेगा

Google 2027 से robots.txt में ऐसा वेंडर-न्यूट्रल IETF टोकन पढ़ने की योजना बना रहा है, जो AI ट्रेनिंग के लिए कंटेंट के उपयोग की अनुमति बताएगा। Google-Extended अपवादों के लिए बना रहेगा।

Illustration of a robots.txt file on a screen with a blocked AI crawler symbol next to a Google logo.
छवि: iX Magazin

Google ने योजना बनाई है कि वह 2027 से robots.txt फ़ाइल में दिए गए एक ऐसे टोकन को पढ़ेगा, जिसे किसी एक कंपनी ने नहीं, बल्कि इंटरनेट मानक संस्था IETF के ज़रिए तय किया जा रहा है। यह टोकन बताएगा कि किसी वेबसाइट का कंटेंट AI ट्रेनिंग के लिए इस्तेमाल किया जा सकता है या नहीं। मौजूदा Google-Extended कंट्रोल भी बना रहेगा, लेकिन उसकी भूमिका अपवादों तक सीमित होगी।

एक एंट्री, कई बॉट

अभी तक वेबसाइट मालिकों को अलग-अलग AI कंपनियों के क्रॉलर के लिए अलग-अलग नियम लिखने पड़ते हैं। नए प्रस्ताव का लक्ष्य इसे सरल बनाना है: robots.txt में एक ही एंट्री सभी सहमत बॉट के लिए संकेत का काम करे, चाहे ट्रेनिंग करने वाली कंपनी कोई भी हो। इसी वजह से इसे "वेंडर-न्यूट्रल" यानी किसी एक विक्रेता से स्वतंत्र टोकन कहा जा रहा है।

Google-Extended का क्या होगा

Google के मुताबिक Google-Extended हटाया नहीं जाएगा। जिन साइटों को अपने कंटेंट पर अलग या अधिक बारीक नियम चाहिए, वे अपवाद तय करने के लिए इसी का इस्तेमाल कर सकेंगी। यानी सामान्य मामलों के लिए साझा टोकन और विशेष ज़रूरतों के लिए Google का अपना कंट्रोल, दोनों साथ चलेंगे।

पब्लिशर्स और डेवलपर्स के लिए मायने

प्रकाशकों, ब्लॉगर्स और ऑनलाइन स्टोर चलाने वालों के लिए यह बदलाव रखरखाव का बोझ घटा सकता है, क्योंकि हर नए AI क्रॉलर का नाम जोड़ने की ज़रूरत कम हो सकती है। हालांकि robots.txt एक स्वैच्छिक मानक है, इसलिए असर इस पर निर्भर करेगा कि कितनी कंपनियां इस टोकन को अपनाती हैं।

Google की योजना 2027 के लिए है। तब तक मौजूदा नियम लागू रहेंगे, और साइट मालिकों के पास नए टोकन की अंतिम बारीकियों को समझने और अपनी robots.txt को उसके अनुसार अपडेट करने का समय होगा।

देखने लायक ऐप्स

SUMO: नंबर पज़ल

सही खाने चुनें, जोड़ें, लक्ष्य तक पहुँचें। सीखना आसान, महारत मुश्किल। मुफ़्त, हर उम्र के लिए।

Dialo: बोलकर भाषाएँ सीखें

AI बातचीत साथी से बात करें; हर वाक्य सुधरकर आपकी भाषा में समझाया हुआ लौटता है। 9 भाषाएँ, A1 से C2 तक।

टैग:googlerobots.txtietfai traininggoogle-extendedweb crawlers

इसी दिन की और ख़बरें

सभी देखें →

और पढ़ें:: AI

सभी देखें →