MBZUAI wydaje PAN 2, otwarty model symulujący świat

Dwa poziomy rozumowania

PAN 2 łączy rozumowanie pojęciowe i percepcyjne. Na pierwszym poziomie duży model językowy ustala kolejność zdarzeń i działań, ruch kamery oraz oczekiwany czas każdego z nich. Na drugim model dyfuzyjny do generowania wideo zamienia te opisy w sceny z detalami ruchu i interakcji fizycznych.

Instytut wytrenował model wideo od zera na rzeczywistych nagraniach wybranych ze względu na zawartą w nich dynamikę fizyczną, a nie atrakcyjność wizualną. PAN 2 wykorzystuje też architekturę GLP (generatywne przewidywanie w przestrzeni latentnej), która przewiduje zmiany we wewnętrznej reprezentacji świata, zanim odtworzy wynik wizualnie.

Wyniki i ograniczenia

Według instytutu PAN 2 zajął trzecie miejsce w ogólnym rankingu Physics-IQ Verified i pierwsze wśród modeli o otwartych wagach. Model osiągnął też wysokie wyniki w testach obejmujących sześć wymiarów inteligencji fizycznej, m.in. spójność przyczynowo-skutkową, trwałość obiektów i dynamikę ciał, a w teście wieloetapowych planów wypadł lepiej od pozostałych porównywanych modeli.

Instytut wskazuje, że model potrafi symulować scenariusze spoza danych treningowych, na przykład upadek jajka na różne powierzchnie. Wygenerowane środowiska można wykorzystać do trenowania agentowych systemów AI w eksploracji i planowaniu. Utrzymanie spójności symulowanego świata w długich, wieloetapowych interakcjach pozostaje jednak otwartym wyzwaniem badawczym.

PAN 2 jest dostępny na licencji Apache 2.0, wraz z wagami modelu wideo, kodem do treningu i wnioskowania oraz wpisem technicznym. Hector Liu, dyrektor laboratorium instytutu w Dolinie Krzemowej, podkreślił, że celem jest umożliwienie badaczom testowania i rozwijania modelu. Jest on dostępny na stronie instytutu i może być dostosowany do zastosowań badawczych, m.in. w robotyce i edukacji.