Anthropic ने Claude में जोड़ा सेल्फ-असेसमेंट, हानिकारक चैट की पहचान

Anthropic ने अपने AI मॉडल Claude के लिए "सेल्फ-असेसमेंट" नाम का नया सुरक्षा फीचर पेश किया है। इसमें Claude बैकग्राउंड में अपनी बातचीत का आकलन करता है, दुरुपयोग की आशंका वाले मामलों को मानव समीक्षा के लिए भेजता है, और यूज़र को कोई चेतावनी नहीं दिखती।

कंपनी के अनुसार यह फीचर जून 2026 से Claude Fable 5 समेत कई मॉडलों पर चल रहा है। X पर किए गए पोस्ट में Anthropic ने बताया कि हर जवाब पूरा होते ही Claude बातचीत की सुरक्षा का शुरुआती आकलन करता है। यह प्रणाली तय नियमों की सूची के बजाय मॉडल के अपने अनुमान पर टिकी है, इसलिए मॉडल बेहतर होने के साथ इसकी सटीकता भी बढ़ती है।

कैसे काम करता है

जवाब तैयार होने के बाद सिस्टम एक छिपा निर्देश जोड़ता है, जिसमें Claude से बातचीत की समीक्षा करने को कहा जाता है। फिर Claude एक संक्षिप्त आंतरिक मूल्यांकन देता है: अनुरोध हानिकारक है या नहीं, संभावित नुकसान किस तरह का है, और मानव टीम के लिए मामले की प्राथमिकता कितनी है। चैट सुरक्षित हो तो कोई अलर्ट दर्ज नहीं होता।

चूंकि Claude बातचीत पहले ही पढ़ चुका होता है, इसलिए वह संग्रहीत जानकारी का इस्तेमाल कर पाता है। Anthropic के मुताबिक इसके लिए सिर्फ करीब 10 अतिरिक्त टोकन लगते हैं और कुल कंप्यूट लागत 2% से कम बढ़ती है। कंपनी की पिछली सुरक्षा प्रणालियों में यह बढ़ोतरी लगभग 24% थी। Anthropic ने यह भी कहा कि OpenAI जैसी प्रतिस्पर्धी कंपनियों ने कुछ सुरक्षा फीचरों में 16% तक कंप्यूट खपत बताई है।

सटीकता और असल मामले

Claude Fable 5 में सेल्फ-असेसमेंट ने कुल हानिकारक बातचीत का 78% और उच्च प्राथमिकता वाले मामलों का 94% पकड़ा। फॉल्स अलार्म की दर सिर्फ 1% रही। अगस्त में एक ही ग्राहक के यहां 1 लाख से ज़्यादा बाल यौन शोषण सामग्री से जुड़े मामले पकड़े गए, और कंपनी ने तुरंत अधिकारियों को सूचित किया। शोधकर्ताओं ने ट्रेनिंग डेटा से धोखाधड़ी और साइबर हमलों के उदाहरण हटा दिए, तब भी मॉडल ने ऐसे 90% खतरे पहचान लिए।

सीमाएं

Anthropic के अनुसार यह फीचर समस्याओं को पकड़कर बाद की समीक्षा के लिए भेजने को बना है, तुरंत रोकने के लिए नहीं। आंतरिक साइबर सुरक्षा परीक्षणों में केवल सेल्फ-असेसमेंट होने पर हमलावर 54% कोशिशों में सफल रहे। बिना किसी सुरक्षा के यह दर 79% थी, जबकि स्वतंत्र रीयल-टाइम ब्लॉकिंग सिस्टम इसे 25% तक घटा देते हैं। इसलिए कंपनी इसे अतिरिक्त निगरानी परत के रूप में रखती है और अलग, ज़्यादा मज़बूत सुरक्षा प्रणालियां भी चालू रखती है।