Mistral Large 4'ün açık ağırlıkları yayımlandı: 1 trilyon parametre

Fransız yapay zekâ şirketi Mistral AI, 29 Ekim'de yeni modeli Mistral Large 4'ün açık ağırlıklarını yayımladı. Şirket içinde «Le Chonk» yani «Tombik» diye anılan model, yaklaşık 1 trilyon parametreyle çok büyük. Ancak Mixture of Experts (MoE) mimarisi sayesinde her token için modelin yalnızca bir kısmı çalışıyor. Large 4, herkese açık önizleme aşamasını geride bırakırken programlama, ajan senaryoları ve güvenlik alanında iyileştirmeler aldı.

Ağırlıklara Hugging Face üzerinde mistralai/Mistral-Large-4-1T-A52B deposundan erişim izni istemeden ulaşılabiliyor. Ana sürümle birlikte NVIDIA Blackwell kuşağı ekran kartları için NVFP4 ile nicemlenmiş bir sürüm de geldi. Model ilk kez 6 Ekim'de yalnızca API üzerinden önizleme olarak gösterilmişti. Şirket ağırlıkları bir ay içinde yayımlayacağını söylemişti ve sözünü tuttu.

Üç haftalık pekiştirmeli öğrenme

Mistral bu sürede modeli pekiştirmeli öğrenmeyle (RL) geliştirdi ve müşteri testlerinden geçirdi. Bilimden sorumlu başkan yardımcısı Pierre Stock'a göre RL, şirketin Fransa'daki yaklaşık 10 MW tüketen kendi altyapısında yürütüldü. Temel eğitim ise Avrupa'daki veri merkezlerinde yaklaşık 3.800 NVIDIA Grace Blackwell GPU'su üzerinde yaklaşık iki ay sürdü.

Etki ajan testlerinde görülüyor. Terminal-Bench 4.0'da skor %28'den %41'e çıkarken çıktı token sayısı %30 azaldı. BrowseComp'ta model %84,5 alıyor; SFT kontrol noktasında bu oran %75'ti. Mevcut high moduna ek olarak low ve medium akıl yürütme modları da eklendi. Şirket, modelin zararlı isteklerin %96,6'sını reddettiğini ve B3 Agent Security testinde saldırıların %97'sine dayandığını belirtiyor. Tüm rakamlar Mistral'a ait.

Model, görev başına GLM-5.3'ten %47 daha az token harcıyor; doğruluk ise biraz daha düşük. Kodlamada GLM'ye göre fark bir puan.

Mimari, donanım ve lisans

Modelde 128 yönlendirilen uzman var; token başına dördü ve bir ortak uzman etkin. Etkin parametre sayısı yaklaşık 49 milyar, gömme ve çıkış katmanlarıyla 52 milyar. Bağlam penceresi 1 milyon token ve model metin ile görüntü kabul ediyor.

Açık ağırlık, herkesin kolayca çalıştırabileceği anlamına gelmiyor. FP8 sürümü yaklaşık 1 TB, NVFP4 sürümü ise yaklaşık 610 GB yer kaplıyor ve Blackwell GPU gerektiriyor. Değiştirilmiş MIT lisansı olan Mistral Ecosystem Open-Weight License kullanıma, ince ayara ve ticari kullanıma izin veriyor; ancak Model-as-a-Service olarak sunmak için Mistral'dan ticari lisans gerekiyor.

OpenAI CEO'su Sam Altman ise yerel modelleri «kıt kaynakların korkunç bir şekilde dağıtılması» olarak nitelemiş, donanımın veri merkezlerinde çalışması gerektiğini savunmuştu.