Mistral Large 4 오픈 웨이트 공개, 1조 파라미터 MoE

프랑스 Mistral AI는 10월 29일 새 모델 Mistral Large 4의 오픈 웨이트를 공개했습니다. 사내에서는 1조 파라미터의 덩치 때문에 「Le Chonk」(통통이)라고 부릅니다. 10월 6일 API 전용으로 시작한 퍼블릭 프리뷰를 마치고, 코딩과 에이전트 시나리오, 보안 성능이 개선됐다고 회사는 밝혔습니다.

구성과 라이선스

웨이트는 Hugging Face의 mistralai/Mistral-Large-4-1T-A52B에서 별도 접근 요청 없이 내려받을 수 있습니다. NVIDIA Blackwell 세대 GPU용 양자화 빌드인 NVFP4도 함께 나왔습니다.

모델은 Mixture of Experts 구조입니다. 라우팅 전문가 128개 가운데 토큰당 4개가 활성화되고, 공유 전문가 1개가 더해집니다. 활성 파라미터는 약 490억 개이며 임베딩과 출력층을 포함하면 520억 개입니다. 컨텍스트는 100만 토큰이고 텍스트와 이미지를 입력받습니다.

라이선스는 MIT를 수정한 Mistral Ecosystem Open-Weight License입니다. 사용, 파인튜닝, 상업적 활용은 허용되지만, Model-as-a-Service 형태로 제공하려면 Mistral의 상용 라이선스가 필요합니다.

3주간 강화학습의 결과

프리뷰 이후 약 3주 동안 강화학습과 고객 테스트를 진행했습니다. 과학 담당 부사장 피에르 스토크에 따르면 강화학습은 프랑스에 있는 자체 설비(약 10MW)에서 이뤄졌습니다. 기본 학습에는 약 2개월, NVIDIA Grace Blackwell GPU 약 3,800기가 쓰였습니다.

Terminal-Bench 4.0 점수는 28%에서 41%로 올랐고 출력 토큰은 30% 줄었습니다. BrowseComp는 84.5%로, SFT 체크포인트의 75%보다 높습니다. 추론 모드는 high 하나였으나 low와 medium이 추가됐습니다. 회사는 유해 요청의 96.6%를 거부하고 B3 Agent Security에서 공격의 97%를 막아냈다고 밝혔습니다. GLM-5.3보다 작업당 토큰을 47% 적게 쓰며, 정확도는 약간 낮습니다.

다만 수치는 모두 Mistral이 직접 발표한 것입니다. OpenAI의 샘 올트먼은 로컬 모델을 희소 자원의 「끔찍한 배분」이라고 비판했습니다. 직접 운영하려면 FP8 버전은 약 1TB, NVFP4 버전은 약 610GB가 필요해 누구나 돌릴 수 있는 것은 아닙니다.