MBZUAI lance PAN 2, un modèle open source de simulation du monde

Un fonctionnement à deux niveaux

PAN 2 associe deux niveaux de raisonnement. Dans le raisonnement conceptuel, un grand modèle de langage détermine la séquence des événements et des actions, les mouvements de caméra et le calendrier prévu. Dans le raisonnement perceptif, un modèle de diffusion dédié à la vidéo transforme ces descriptions en scènes comportant des détails de mouvement et des interactions physiques.

L'institut indique avoir entraîné ce modèle vidéo de zéro, avec des séquences réelles choisies pour leur dynamique physique et non pour leur attrait visuel. PAN 2 s'appuie aussi sur l'architecture de prédiction générative dans l'espace latent (GLP), qui anticipe les changements d'une représentation interne du monde avant de reconstruire le résultat visuel.

Résultats et limites

D'après l'institut, PAN 2 se classe troisième au classement général Physics-IQ Verified et premier parmi les modèles à poids ouverts. Il annonce aussi de bons résultats sur six dimensions de l'intelligence physique, dont la cohérence causale, la permanence des entités et la dynamique des objets, ainsi qu'une avance sur les autres modèles comparés pour l'achèvement de plans en plusieurs étapes.

Le modèle sait simuler des scénarios absents de ses données d'entraînement, comme la chute d'un œuf sur différentes surfaces, et les environnements virtuels produits pourraient servir à entraîner des systèmes d'IA agentique à explorer et à planifier. L'institut reconnaît que maintenir la cohérence du monde simulé lors d'interactions longues et multiétapes reste un défi de recherche.

PAN 2 est publié sous licence Apache 2.0, avec les poids du modèle vidéo, le code d'entraînement et d'inférence et un article technique. Hector Liu, directeur du laboratoire de recherche de l'institut dans la Silicon Valley, a indiqué que cette ouverture doit permettre aux chercheurs de tester les capacités et les limites du modèle et de le faire évoluer. Il est disponible sur le site de l'institut et adaptable à la recherche, notamment en robotique et en éducation.