MBZUAI выпустил PAN 2 — открытую модель симуляции мира

Два уровня рассуждения

PAN 2 сочетает концептуальное и перцептивное рассуждение. На первом уровне большая языковая модель определяет последовательность событий и действий, движение камеры и ожидаемое время каждого шага. На втором специальная диффузионная модель для генерации видео превращает эти описания в сцены с деталями движения и физических взаимодействий.

Институт сообщил, что обучил видеомодель с нуля на реальных роликах, отобранных по заложенной в них физической динамике, а не по визуальной привлекательности. Кроме того, PAN 2 использует архитектуру GLP («генеративное предсказание в латентном пространстве»), которая прогнозирует изменения во внутреннем представлении мира, прежде чем восстановить визуальный результат.

Результаты и ограничения

По данным института, PAN 2 занял третье место в общем зачёте рейтинга Physics-IQ Verified и первое среди моделей с открытыми весами. Модель также показала сильные результаты в тестах по шести измерениям физического интеллекта, включая причинную согласованность, постоянство объектов и динамику тел, а в тесте на выполнение многошаговых планов превзошла остальные модели из сравнения.

Институт отметил, что модель способна симулировать сценарии, которых не было в обучающих данных, например падение яйца на разные поверхности. Получаемые виртуальные среды можно использовать для обучения агентных систем ИИ исследованию и планированию. При этом сохранение согласованности симулируемого мира в долгих многошаговых взаимодействиях остаётся нерешённой исследовательской задачей.

PAN 2 распространяется по лицензии Apache 2.0 вместе с весами видеомодели, кодом для обучения и инференса и технической статьёй в блоге. Директор исследовательской лаборатории института в Кремниевой долине Гектор Лю подчеркнул, что цель — дать исследователям возможность проверять возможности и пределы модели и развивать её. Модель доступна на сайте института и может быть адаптирована для исследований, в том числе в робототехнике и образовании.