Mistral Large 4 के ओपन वेट जारी: 1 ट्रिलियन पैरामीटर का मॉडल

फ्रांस की Mistral AI ने 29 अक्टूबर को अपने नए मॉडल Mistral Large 4 के ओपन वेट सार्वजनिक कर दिए। कंपनी के भीतर इस मॉडल को «Le Chonk» यानी «मोटू» कहा जाता है, क्योंकि इसमें एक ट्रिलियन पैरामीटर हैं। मॉडल अब पब्लिक प्रीव्यू से बाहर आ चुका है। कंपनी के मुताबिक कोडिंग, एजेंटिक कार्यों और सुरक्षा के मामले में इसमें सुधार किए गए हैं।

वेट, आर्किटेक्चर और लाइसेंस

वेट Hugging Face पर mistralai/Mistral-Large-4-1T-A52B रिपॉजिटरी में उपलब्ध हैं और इसके लिए अलग से एक्सेस मांगने की ज़रूरत नहीं है। NVIDIA के Blackwell GPU के लिए NVFP4 क्वांटाइज़्ड संस्करण भी जारी हुआ है।

मॉडल Mixture of Experts आर्किटेक्चर पर बना है। इसमें 128 रूटेबल एक्सपर्ट हैं, जिनमें से हर टोकन पर चार सक्रिय होते हैं, साथ में एक साझा एक्सपर्ट भी है। सक्रिय पैरामीटर लगभग 49 अरब हैं, और एम्बेडिंग व आउटपुट लेयर जोड़ने पर 52 अरब। कॉन्टेक्स्ट विंडो 10 लाख टोकन की है, और मॉडल टेक्स्ट के साथ इमेज इनपुट भी लेता है।

लाइसेंस Mistral Ecosystem Open-Weight License है, जो MIT का संशोधित रूप है। इसमें मॉडल का उपयोग, फाइन-ट्यूनिंग और व्यावसायिक इस्तेमाल मुमकिन है, लेकिन Model-as-a-Service के रूप में एक्सेस देने के लिए Mistral से कमर्शियल लाइसेंस लेना होगा।

तीन हफ्ते की RL से क्या बदला

मॉडल को पहली बार 6 अक्टूबर को केवल API पर प्रीव्यू के रूप में दिखाया गया था। उसके बाद तीन हफ्ते तक रीइन्फोर्समेंट लर्निंग हुई और ग्राहकों के साथ परीक्षण किए गए। कंपनी के विज्ञान उपाध्यक्ष Pierre Stock के अनुसार RL फ्रांस में कंपनी की अपनी लगभग 10 MW क्षमता पर चला। बेस ट्रेनिंग में करीब दो महीने लगे और लगभग 3,800 NVIDIA Grace Blackwell GPU इस्तेमाल हुए।

Terminal-Bench 4.0 पर नतीजा 28% से बढ़कर 41% हो गया, जबकि आउटपुट टोकन 30% कम लगे। BrowseComp पर मॉडल को 84.5% अंक मिले, जबकि SFT चेकपॉइंट को 75%। अब केवल high नहीं, बल्कि low और medium रीज़निंग मोड भी हैं। कंपनी का दावा है कि मॉडल 96.6% हानिकारक अनुरोध ठुकराता है और B3 Agent Security बेंचमार्क में 97% हमलों का सामना करता है। यह भी बताया गया कि GLM-5.3 की तुलना में प्रति कार्य 47% कम टोकन लगते हैं, हालांकि सटीकता थोड़ी कम है।

ध्यान रहे कि ये सारे आंकड़े Mistral के अपने हैं। OpenAI के प्रमुख Sam Altman स्थानीय मॉडलों को दुर्लभ संसाधनों का «भयानक आवंटन» कह चुके हैं। ऐसे में यह रिलीज़ अहम है, पर FP8 संस्करण के लिए करीब 1 TB और NVFP4 के लिए लगभग 610 GB स्टोरेज चाहिए, इसलिए इसे चलाना हर किसी के बस की बात नहीं।