Mistral Large 4 вышла с открытыми весами: триллион параметров

Французская Mistral AI 29 октября опубликовала открытые веса новой модели Mistral Large 4. Внутри компании её называют «Le Chonk» — «Толстяк» — из-за размера в триллион параметров. Благодаря архитектуре Mixture of Experts (MoE) на каждый токен задействуется лишь часть модели. Large 4 вышла из публичного превью и получила улучшения в программировании, агентных сценариях и безопасности.

Веса доступны на Hugging Face в репозитории mistralai/Mistral-Large-4-1T-A52B, запрашивать доступ не нужно. Вместе с основной версией выпущена квантованная сборка NVFP4 для видеокарт NVIDIA поколения Blackwell. Впервые модель показали 6 октября, тогда она была доступна только через API. Веса обещали выпустить в течение месяца, и компания уложилась в срок.

Три недели обучения с подкреплением

За это время Mistral дообучила модель с подкреплением (RL) и проверила её у клиентов. По словам вице-президента по науке Пьера Стока, RL шёл на собственных мощностях компании во Франции, потреблявших около 10 МВт. Базовое обучение заняло около двух месяцев на примерно 3 800 GPU NVIDIA Grace Blackwell.

Эффект заметен на агентных бенчмарках. В Terminal-Bench 4.0 результат вырос с 28% до 41%, а выходных токенов стало на 30% меньше. В BrowseComp модель набирает 84,5% против 75% у SFT-чекпоинта. Помимо режима high появились режимы рассуждения low и medium. Компания заявляет, что модель отклоняет 96,6% вредоносных запросов и выдерживает 97% атак в тесте B3 Agent Security. Все цифры приводит сама Mistral.

На задачу модель тратит на 47% меньше токенов, чем GLM-5.3, при чуть меньшей точности. В кодинге отрыв от GLM составляет один пункт.

Архитектура, требования и лицензия

В модели 128 маршрутизируемых экспертов, на токен активны четыре плюс один общий. Активных параметров около 49 млрд, с эмбеддингом и выходным слоем — 52 млрд. Контекст составляет 1 млн токенов, модель принимает текст и изображения.

Открытые веса не означают лёгкого запуска. Для FP8-версии нужно около 1 ТБ дискового пространства, для NVFP4 — около 610 ГБ и GPU поколения Blackwell. Лицензия Mistral Ecosystem Open-Weight License, модифицированная версия MIT, разрешает использовать и дообучать модель, а также применять её в бизнесе. Но для предоставления доступа по формату Model-as-a-Service нужна коммерческая лицензия Mistral.

Глава OpenAI Сэм Альтман назвал локальные модели «ужасным распределением дефицитных ресурсов» и заявил, что железо должно работать в дата-центрах.