Mistral Large 4 z otwartymi wagami: model ma bilion parametrów

Francuska firma Mistral AI opublikowała 29 października otwarte wagi modelu Mistral Large 4. Wewnętrznie nazywa się go „Le Chonk”, czyli „Grubasek”, bo ma około biliona parametrów. Dzięki architekturze Mixture of Experts (MoE) przy każdym tokenie pracuje jednak tylko część modelu. Large 4 opuścił tym samym etap publicznego podglądu i zyskał ulepszenia w programowaniu, scenariuszach agentowych oraz bezpieczeństwie.

Wagi są dostępne na Hugging Face w repozytorium mistralai/Mistral-Large-4-1T-A52B i nie trzeba prosić o dostęp. Obok głównej wersji pojawiła się kwantyzowana wersja NVFP4 dla kart NVIDIA generacji Blackwell. Model po raz pierwszy pokazano 6 października, wtedy tylko przez API. Firma zapowiadała publikację wag w ciągu miesiąca i dotrzymała terminu.

Trzy tygodnie uczenia ze wzmocnieniem

W tym czasie Mistral dotrenowała model metodą uczenia ze wzmocnieniem (RL) i sprawdziła go u klientów. Według wiceprezesa ds. nauki Pierre'a Stocka RL odbywało się na własnej infrastrukturze we Francji, zużywającej około 10 MW. Podstawowy trening trwał około dwóch miesięcy na ok. 3800 GPU NVIDIA Grace Blackwell.

Efekt widać w testach agentowych. W Terminal-Bench 4.0 wynik wzrósł z 28% do 41%, a liczba tokenów wyjściowych spadła o 30%. W BrowseComp model osiąga 84,5% wobec 75% dla punktu kontrolnego po SFT. Dodano też tryby rozumowania low i medium obok dotychczasowego high. Firma twierdzi, że Large 4 odrzuca 96,6% szkodliwych zapytań i wytrzymuje 97% ataków w teście B3 Agent Security. Wszystkie liczby pochodzą od samej Mistral.

Model zużywa o 47% mniej tokenów na zadanie niż GLM-5.3 przy nieco niższej dokładności. W kodowaniu przewaga nad GLM to jeden punkt.

Architektura, wymagania i licencja

Model ma 128 routowanych ekspertów, z których cztery są aktywne na token, plus jednego wspólnego. Aktywnych jest około 49 mld parametrów, a po dodaniu osadzeń i warstwy wyjściowej 52 mld. Kontekst wynosi 1 mln tokenów, a model przyjmuje tekst i obrazy.

Otwarte wagi nie oznaczają jednak łatwego uruchomienia. Wersja FP8 wymaga około 1 TB miejsca na dysku, a NVFP4 około 610 GB i GPU generacji Blackwell. Licencja Mistral Ecosystem Open-Weight License, zmodyfikowana wersja MIT, pozwala używać, dotrenowywać i wykorzystywać model komercyjnie. Oferowanie go jako usługi (Model-as-a-Service) wymaga jednak komercyjnej licencji Mistral.

Sam Altman nazwał lokalne modele „okropnym przydziałem deficytowych zasobów”, argumentując, że sprzęt powinien pracować w centrach danych.