MBZUAI lanza PAN 2, un modelo de código abierto que simula el mundo

Cómo funciona

PAN 2 combina dos niveles de razonamiento. En el conceptual, un gran modelo de lenguaje determina la secuencia de eventos y acciones, el movimiento de cámara y el momento previsto de cada uno. En el perceptivo, un modelo de difusión diseñado para vídeo convierte esas descripciones en escenas con detalles de movimiento e interacciones físicas.

El instituto explica que entrenó el modelo de vídeo desde cero con clips reales seleccionados por su dinámica física y no por su atractivo visual. PAN 2 usa además la arquitectura de predicción generativa en el espacio latente (GLP), que anticipa los cambios en una representación interna del mundo antes de reconstruir el resultado visual.

Resultados y límites

Según los resultados del instituto, PAN 2 ocupa el tercer puesto en la clasificación general de Physics-IQ Verified y el primero entre los modelos de pesos abiertos. También destaca resultados avanzados en seis dimensiones de inteligencia física, como la coherencia causal, la persistencia de entidades y la dinámica de objetos, y afirma que superó a los demás modelos comparados en una prueba de finalización de planes de varios pasos.

El modelo puede simular escenarios ausentes de sus datos de entrenamiento, como un huevo que cae sobre distintas superficies, y los entornos virtuales resultantes podrían servir para entrenar sistemas de IA agéntica en exploración y planificación. El instituto reconoce que mantener la coherencia del mundo simulado en interacciones largas y de varios pasos sigue siendo un reto de investigación.

PAN 2 se publica con licencia Apache 2.0, junto con los pesos del modelo de vídeo, el código de entrenamiento e inferencia y una entrada técnica. Hector Liu, director del laboratorio de investigación del instituto en Silicon Valley, afirmó que ofrecer estos componentes busca que los investigadores prueben las capacidades y los límites del modelo y lo desarrollen. Está disponible en el sitio web del instituto y puede adaptarse a investigación en robótica y educación.