Mistral Large 4 के ओपन वेट जारी, कोडिंग स्कोर में बड़ा सुधार

फ्रांसीसी स्टार्टअप Mistral AI ने गुरुवार, 29 अक्टूबर को अपने मॉडल Mistral Large 4 के वेट Hugging Face पर जारी कर दिए। एक ट्रिलियन (1,000 अरब) पैरामीटर वाले इस मॉडल का उपनाम « Le Chonk » है। 6 अक्टूबर को पेश किए जाने के समय यह सिर्फ़ पेड API के जरिए उपलब्ध था, जबकि कंपनी ने महीने के अंत तक वेट खोलने का वादा किया था।

वेट वे सेटिंग्स हैं जो मॉडल ट्रेनिंग के दौरान सीखता है। इन्हें डाउनलोड करके कंपनियां मॉडल को अपने सर्वर पर चला सकती हैं और डेटा Mistral को भेजना नहीं पड़ता। मॉडल Mixture of Experts (MoE) आर्किटेक्चर पर बना है, जिसमें 128 विशेषज्ञ हैं और हर टोकन के लिए चार विशेषज्ञ व एक साझा विशेषज्ञ सक्रिय होते हैं। इसलिए प्रति टोकन केवल 49 अरब पैरामीटर काम करते हैं (इनपुट-आउटपुट लेयर समेत 52 अरब)। पिछले मॉडल Large 3 में 675 अरब पैरामीटर थे, जिनमें से 41 अरब सक्रिय रहते थे।

तीन हफ्ते में क्या बदला

प्रीव्यू और वेट रिलीज़ के बीच Mistral ने रीइनफोर्समेंट लर्निंग जारी रखी, खासकर कोड और साइबर सुरक्षा में। कंपनी के आंकड़ों के मुताबिक कमांड-लाइन प्रोग्रामिंग टेस्ट Terminal-Bench 4.0 पर स्कोर 28% से बढ़कर 41% हो गया, यानी चीनी GLM-5.3 (40%) से एक अंक आगे। Artificial Analysis के कोड इंडेक्स पर मॉडल को 48% मिले, जो GLM-5.3 के बराबर है, जबकि प्रति कार्य औसतन 47% कम टोकन खर्च होते हैं।

हालांकि Mistral ने Hugging Face के दस्तावेज़ में माना है कि Artificial Analysis के समग्र इंडेक्स पर शीर्ष चीनी ओपन मॉडल आगे हैं। इस इंडेक्स पर Large 4 को 26 अंक मिले, जो पश्चिमी ओपन मॉडलों में सबसे ऊंचा है। सर्च इंजन Ecosia ने अक्टूबर की शुरुआत में Mistral की जगह Qwen, Kimi और GLM जैसे चीनी मॉडल चुने थे।

कीमत और लाइसेंस

API की कीमत आधी कर दी गई है: 0.70 डॉलर प्रति दस लाख इनपुट टोकन और 2.10 डॉलर आउटपुट टोकन, जबकि प्रीव्यू में ये 1.36 और 4.18 डॉलर थे। नया Mistral Ecosystem Open-Weight License, Large 3 के Apache 2.0 से कम उदार है। यह MIT का संशोधित रूप है और व्यावसायिक उपयोग की अनुमति देता है, पर मॉडल की पहुंच सेवा के रूप में बेचने वाली कंपनियों को Mistral से अलग लाइसेंस लेना होगा।

मॉडल आम पर्सनल कंप्यूटर के बस की बात नहीं है। कंप्रेस्ड संस्करण के लिए भी चार Nvidia B200 या B300 डेटा सेंटर GPU चाहिए, जबकि पूरे संस्करण को आठ की जरूरत है।