Mistral Large 4: Offene Gewichte für Billionen-Modell «Le Chonk»

Mistral AI hat am 29. Oktober die offenen Gewichte von Mistral Large 4 veröffentlicht. Intern heißt das Modell wegen seiner Größe von einer Billion Parameter «Le Chonk». Es hat die öffentliche Preview-Phase verlassen und wurde bei Programmierung, Agentenaufgaben und Sicherheit verbessert.

Die Gewichte liegen auf Hugging Face unter mistralai/Mistral-Large-4-1T-A52B, ohne dass ein Zugang beantragt werden muss. Hinzu kommt eine quantisierte NVFP4-Version für NVIDIA-GPUs der Blackwell-Generation. Erstmals gezeigt wurde das Modell am 6. Oktober als reine API-Preview; die Zusage, die Gewichte innerhalb eines Monats zu veröffentlichen, hat Mistral eingehalten. In der Zwischenzeit folgte Reinforcement Learning samt Tests bei Kunden. Laut Wissenschafts-VP Pierre Stock lief diese Phase auf eigener Infrastruktur in Frankreich mit rund 10 MW Leistung, das Basistraining dauerte etwa zwei Monate auf rund 3.800 NVIDIA-Grace-Blackwell-GPUs.

Architektur und Benchmarks

Das Modell nutzt 128 geroutete Experten, davon vier aktiv pro Token, plus einen gemeinsamen Experten. Aktiv sind etwa 49 Milliarden Parameter, mit Embedding und Ausgabeschicht 52 Milliarden, daher der Name des Repositorys. Das Kontextfenster umfasst eine Million Token, verarbeitet werden Text und Bilder.

Am deutlichsten zeigen sich die drei Wochen Feinschliff bei Agenten-Tests: Im Terminal-Bench 4.0 stieg das Ergebnis von 28 auf 41 Prozent bei 30 Prozent weniger Ausgabetoken, bei BrowseComp erreicht das Modell 84,5 Prozent gegenüber 75 Prozent beim SFT-Checkpoint. Neben dem Modus «high» gibt es nun «low» und «medium». Mistral gibt zudem an, 96,6 Prozent schädlicher Anfragen abzulehnen und 97 Prozent der Angriffe im Benchmark B3 Agent Security standzuhalten. Gegenüber GLM-5.3 braucht das Modell 47 Prozent weniger Token pro Aufgabe bei etwas geringerer Genauigkeit; beim Coding beträgt der Vorsprung vor GLM etwa einen Punkt. Alle Zahlen stammen von Mistral selbst, unabhängig bestätigt sind nur Werte aus den Indizes von Artificial Analysis, die ebenfalls in der Ankündigung stehen.

Hardware und Lizenz

Offene Gewichte bedeuten keine einfache Bereitstellung. Die FP8-Variante benötigt rund 1 TB Speicher, NVFP4 etwa 610 GB und Blackwell-GPUs. Die Mistral Ecosystem Open-Weight License, eine abgewandelte MIT-Lizenz, erlaubt Nutzung, Feintuning und kommerziellen Einsatz. Wer das Modell als Dienst anbieten will, braucht jedoch eine kommerzielle Lizenz von Mistral.

Die Veröffentlichung fällt in eine Debatte: OpenAI-Chef Sam Altman nannte lokale Modelle eine «schreckliche Verteilung knapper Ressourcen» und will Hardware in Rechenzentren sehen. Mistral, der wichtigste europäische Entwickler von Basismodellen, setzt auf den gegenteiligen Ansatz.