Osegi
AI·3 मिनट में पढ़ें

AI रिसर्च रिपोर्ट: जब AI ही AI की जाँच करे, तो गलतियाँ और बारीक हो गईं

एक प्रोडक्ट मार्केटिंग लीड ने आइडिया परखने के लिए एजेंट सिस्टम बनाया और पाया कि AI की गलतियाँ पकड़ना और मुश्किल हो रहा है। छह आम गलतियाँ।

A person at a desk reviewing a long AI-generated research report on a monitor, with some lines highlighted for checking.
छवि: Хабр

नकली लिंक, पर नतीजे वही के वही। Deloitte की कहानी को संक्षेप में यही कहा जा सकता है: कंपनी ने ऑस्ट्रेलिया सरकार को ऐसी रिपोर्ट दी जिसमें ऐसे स्रोत थे जो मौजूद ही नहीं थे। उसने आखिरी भुगतान लौटाने पर सहमति दी, जबकि मंत्रालय ने कहा कि सिफारिशें नहीं बदलीं। यह अकेला मामला नहीं है। बीते साल कनाडा और ऑस्ट्रेलिया में Deloitte, साथ ही EY और KPMG की रिपोर्टों में भी AI की गलतियाँ मिलीं।

प्रोडक्ट मार्केटिंग टीम के एक लीड ने इसी समस्या से जूझते हुए «Полигон гипотез» (हाइपोथेसिस पोलिगॉन) नाम का सिस्टम बनाया। आप आइडिया और संदर्भ देते हैं, एजेंट उसे जाँचे जा सकने वाले दावों में तोड़ते हैं, समर्थन और विरोधाभास खोजते हैं और बताते हैं कि क्या छोड़ना है और क्या सुधारना है। ज़रूरत पड़ने पर वह अतिरिक्त सामग्री जुटाता है और सिंथेटिक प्रयोग भी चलाता है।

लेखक के मुताबिक असली दिक्कत यह है कि गलतियाँ अब बारीक हैं: स्रोत असली है, उद्धरण शब्दशः सही है, पर उससे निकाला गया निष्कर्ष गलत। और सख्ती बढ़ाने पर सिस्टम सतर्क तो हुआ, पर उसकी उपयोगिता घट गई।

AI रिपोर्ट में कौन-सी छह गलतियाँ आम हैं?

लेखक ने अपने सामने आई गलतियों को छह समूहों में रखा है।

  • सामान्यीकरण। «ज़्यादातर ग्राहक असंतुष्ट हैं», जबकि दस में से सिर्फ़ दो असंतुष्ट थे और बाकियों ने इंटीग्रेशन आज़माया ही नहीं। लंबे इंटरव्यू छोटे करने में आँकड़े और शर्तें खो जाती हैं।
  • इच्छित नतीजे को शर्त मान लेना। ब्रीफ़ में टीम पहले ही मोबाइल ऐप चाहती थी। चार लोगों के «हो तो अच्छा» को «माँग की पुष्टि» बना दिया गया, छह ने ज़िक्र ही नहीं किया।
  • एक ही स्रोत की गूँज। तीन एजेंसियाँ «25% सालाना वृद्धि» बताती हैं, पर तीनों एक ही निर्माता की प्रेस विज्ञप्ति दोहरा रही थीं।
  • सवाल से भटकना। सवाल था ग्राहक सब्सक्रिप्शन रिन्यू क्यों नहीं करते, और जवाब पहली खरीद न होने के कारणों पर लिखा गया।
  • खोज की सीमा छिपाना। अंग्रेज़ी में दो क्वेरी चलीं और नतीजा निकला «प्रतिस्पर्धी नहीं हैं», जबकि एक स्थानीय कंपनी वही फ़ीचर बेच रही थी।
  • गढ़ी हुई कहानी। «बड़े बैंक में churn 15% घटा» जैसी बात जिसका सामग्री में कोई आधार नहीं था।

लेखक ने इन्हें पकड़ने के लिए क्या बदला?

सामान्यीकरण पर अब सूची माँगी जाती है कि किसने क्या कहा। स्क्रिप्ट प्रतिभागी गिनती है और अलग एजेंट जाँचता है कि उन्हें एक समूह में रखना ठीक है या नहीं। ब्रीफ़ के दावे भी जाँच में शामिल हैं, और हर मुख्य निष्कर्ष के साथ उसके खिलाफ़ सबसे मज़बूत तर्क माँगा जाता है। पुष्टि अब स्रोतों के रजिस्टर से गिनी जाती है।

खोज में अब खंडन की तलाश होती है, यानी ऐसी कंपनी ढूँढना जो यह पहले से कर रही हो, और दर्ज होता है कि कहाँ खोजा गया और क्या नहीं देखा गया। तथ्यात्मक दावों के लिए स्रोत ज़रूरी है: उद्धरण स्क्रिप्ट मूल टेक्स्ट में खोजती है, गणना सूत्र से दोबारा होती है, और एक अलग एजेंट देखता है कि वह अंश सचमुच निष्कर्ष की पुष्टि करता है या नहीं।

लेखक के अनुसार AI ने उत्पादन सस्ता किया है, जाँच नहीं।

देखने लायक ऐप्स

SUMO: नंबर पज़ल

सही खाने चुनें, जोड़ें, लक्ष्य तक पहुँचें। सीखना आसान, महारत मुश्किल। मुफ़्त, हर उम्र के लिए।

Dialo: बोलकर भाषाएँ सीखें

AI बातचीत साथी से बात करें; हर वाक्य सुधरकर आपकी भाषा में समझाया हुआ लौटता है। 9 भाषाएँ, A1 से C2 तक।

giftdetect: मिनटों में सही तोहफ़ा

चुनें किसके लिए, किस मौके पर और कैसा स्वभाव। सर्च इंजन स्थानीय दुकानों के उत्पाद विवरण पढ़कर सबसे उपयुक्त विकल्प ऊपर रखता है। मुफ़्त, बिना साइन-अप।

टैग:ai researchai hallucinationsdeloitteai agentsproduct marketingfact checking

इसी दिन की और ख़बरें

सभी देखें →

और पढ़ें:: AI

सभी देखें →