AI2026. 11. 11. 오후 12:15 UTC·2 분 소요

MBZUAI, 세계 시뮬레이션 모델 'PAN 2' 오픈소스 공개

아부다비 MBZUAI가 행동의 결과를 영상으로 예측하는 오픈소스 모델 PAN 2를 공개했습니다. AI가 행동에 앞서 계획을 세우도록 돕습니다.

A simulated video scene generated by an AI world model, showing an object falling onto a surface in a research lab setting. — 이미지: البوابة التقنية

아부다비의 모하메드 빈 자이드 인공지능대학교(MBZUAI) 파운데이션 모델 연구소가 오픈소스 세계 시뮬레이션 모델 'PAN 2'를 공개했습니다. AI 시스템이 직접 경험에만 의존하지 않고, 시각적 시뮬레이션으로 행동의 결과를 예측하고 계획하도록 돕는 것이 목적입니다.

대학이 낸 보도자료에 따르면 이 모델은 초기 장면과 특정 행동에 대한 텍스트 설명을 입력받아, 이후 일어날 수 있는 일을 영상으로 생성합니다. 예측은 모델이 학습한 물리적·시간적·공간적 관계에 근거합니다. 연구진은 이 방식을 '시뮬레이션을 통한 추론'이라고 부르며, 현실에서 실행하기 전에 가상 시나리오를 시험할 수 있다고 설명합니다.

두 단계의 추론 구조

PAN 2는 두 가지 추론을 결합합니다. 먼저 개념적 추론 단계에서 대규모 언어 모델이 사건과 행동의 순서, 카메라 움직임, 각 단계의 예상 시점을 정합니다. 이어 지각적 추론 단계에서 영상 생성에 특화된 확산 모델이 이 설명을 움직임과 물리적 상호작용이 담긴 장면으로 바꿉니다.

연구소는 영상 생성 모델을 처음부터 학습시켰으며, 시각적 매력이 아니라 물리적 역학을 기준으로 고른 실제 영상을 사용했다고 밝혔습니다. 또한 세계의 내부 표현에서 변화를 먼저 예측한 뒤 시각 결과를 복원하는 'GLP(생성적 잠재 예측)' 아키텍처를 활용합니다.

성능과 한계

연구소가 공개한 결과에 따르면 PAN 2는 'Physics-IQ Verified' 리더보드 종합 3위, 오픈 웨이트 모델 중에서는 1위를 기록했습니다. 인과적 일관성, 개체 지속성 등 물리 지능의 여섯 가지 측면 평가에서도 우수한 결과를 냈고, 다단계 계획 완수 테스트에서는 비교 대상 모델을 앞섰다고 합니다. 다만 길고 여러 단계에 걸친 상호작용에서 시뮬레이션된 세계의 일관성을 유지하는 일은 여전히 연구 과제라고 인정했습니다.

모델은 Apache 2.0 라이선스로 제공되며, 영상 모델 가중치와 학습·추론 코드, 기술 블로그가 함께 공개됩니다. 연구소 실리콘밸리 연구소의 헥터 리우 소장은 연구자들이 모델의 능력과 한계를 검증하고 발전시킬 수 있도록 하려는 취지라고 말했습니다. 모델은 연구소 웹사이트에서 이용할 수 있으며 로보틱스와 교육 등 연구 응용 분야에 맞게 조정할 수 있습니다.