Mistral Large 4の重みを公開、1兆パラメータのMoE

フランスのMistral AIは10月29日、新モデル「Mistral Large 4」のオープンウェイトを公開した。社内では1兆パラメータの巨大さから「Le Chonk」(ずんぐりした子)と呼ばれている。10月6日にAPI限定で始めたパブリックプレビューを終え、コーディング、エージェント用途、セキュリティが強化されたという。

構成とライセンス

重みはHugging Faceのmistralai/Mistral-Large-4-1T-A52Bで、アクセス申請なしで入手できる。NVIDIAのBlackwell世代GPU向けに、量子化版のNVFP4も同時に出た。

Mixture of Expertsを採用し、128のルーティング専門家のうち1トークンあたり4つが動き、共有専門家が1つ加わる。アクティブパラメータは約490億で、埋め込み層と出力層を含めると520億になる。コンテキスト長は100万トークンで、テキストと画像を入力できる。

ライセンスはMITを改変したMistral Ecosystem Open-Weight License。利用、微調整、商用利用は可能だが、Model-as-a-Serviceとして提供するにはMistralの商用ライセンスが必要だ。

3週間の強化学習の成果

プレビュー後、約3週間の強化学習と顧客テストを実施した。同社の科学担当副社長ピエール・ストック氏によると、強化学習はフランス国内の自社設備(約10MW)で行われた。基礎学習には約2カ月、約3,800基のNVIDIA Grace Blackwell GPUを使ったという。

Terminal-Bench 4.0のスコアは28%から41%に上がり、出力トークンは30%減った。BrowseCompは84.5%で、SFTチェックポイントの75%を上回る。推論モードはhighのみだったが、lowとmediumが加わった。安全面では有害リクエストの96.6%を拒否し、B3 Agent Securityで97%の攻撃に耐えたとされる。GLM-5.3と比べタスク当たりのトークン消費は47%少なく、精度はわずかに下回る。

ただし数値はいずれもMistral自身の発表だ。OpenAIのサム・アルトマン氏はローカルモデルを希少資源の「ひどい配分」と批判している。自前運用にはFP8版で約1TB、NVFP4版で約610GBが必要で、誰でも動かせるわけではない。