MBZUAI veröffentlicht PAN 2: Open-Source-Weltmodell für Simulation
Die MBZUAI in Abu Dhabi hat mit PAN 2 ein quelloffenes Weltmodell vorgestellt, das per Video die Folgen von Handlungen vorhersagt und KI-Systemen beim Planen hilft.
SUMO· das Zahlenrätsel
Dialo· Sprachen lernen durch Sprechen
ediviewer· EDI-Dateien wie Dokumente lesen
giftdetect· das passende Geschenk in MinutenDas Institute of Foundation Models der Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) in Abu Dhabi hat PAN 2 veröffentlicht, ein quelloffenes Modell zur Simulation der Realität. Es soll KI-Systemen helfen, die Folgen von Handlungen vorherzusagen und zu planen, und zwar durch visuelle Simulation statt allein durch direkte Erfahrung.
Laut der Mitteilung der Universität erhält das Modell eine Ausgangsszene und eine Textbeschreibung einer Handlung und erzeugt daraus ein Video, das den weiteren Verlauf vorhersagt. Grundlage sind physikalische, zeitliche und räumliche Zusammenhänge, die es gelernt hat. Die Forschenden nennen das „simulatives Schlussfolgern“: Virtuelle Szenarien lassen sich testen, bevor sie in der realen Welt umgesetzt werden.
So funktioniert es
PAN 2 verbindet zwei Ebenen des Schlussfolgerns. Beim konzeptuellen Schlussfolgern legt ein großes Sprachmodell Abfolge von Ereignissen und Handlungen, Kamerabewegung und erwartetes Timing fest. Beim perzeptuellen Schlussfolgern setzt ein auf Video spezialisiertes Diffusionsmodell diese Beschreibungen in Szenen mit Bewegungsdetails und physikalischen Wechselwirkungen um.
Das Institut gibt an, das Videomodell von Grund auf mit realen Clips trainiert zu haben, die nach ihrer physikalischen Dynamik und nicht nach visueller Attraktivität ausgewählt wurden. Zudem nutzt PAN 2 die Architektur „Generative Latent Prediction“ (GLP), die Veränderungen in einer internen Darstellung der Welt vorhersagt, bevor das visuelle Ergebnis rekonstruiert wird.
Ergebnisse und Grenzen
Laut Institut belegt PAN 2 im Gesamtranking des Leaderboards Physics-IQ Verified Platz drei und ist das beste Modell mit offenen Gewichten. Gute Werte meldet es außerdem in sechs Dimensionen physikalischer Intelligenz, darunter kausale Konsistenz, Objektpermanenz und Objektdynamik. Bei einem Test zum Abschließen mehrstufiger Pläne habe es die übrigen verglichenen Modelle übertroffen.
Das Modell kann Szenarien simulieren, die nicht in den Trainingsdaten vorkamen, etwa ein Ei, das auf verschiedene Oberflächen fällt. Die erzeugten virtuellen Umgebungen könnten zum Training agentischer KI-Systeme für Exploration und Planung dienen. Das Institut räumt ein, dass es weiterhin eine offene Forschungsfrage ist, die simulierte Welt über lange, mehrstufige Interaktionen konsistent zu halten.
PAN 2 steht unter der Apache-2.0-Lizenz, inklusive Gewichten des Videomodells, Code für Training und Inferenz sowie einem technischen Blogbeitrag. Hector Liu, Leiter des Forschungslabors des Instituts im Silicon Valley, sagte, die Freigabe solle Forschenden ermöglichen, Fähigkeiten und Grenzen zu prüfen und das Modell weiterzuentwickeln. Es ist über die Website des Instituts verfügbar und lässt sich für Forschung etwa in Robotik und Bildung anpassen.
Apps, die sich lohnen
SUMO: das ZahlenrätselTippe die richtigen Felder, addiere, triff das Ziel. Leicht zu lernen, schwer zu meistern. Kostenlos, für jedes Alter.
Dialo: Sprachen lernen durch SprechenSprich mit einem KI-Gesprächspartner; jeder Satz kommt korrigiert und in deiner Sprache erklärt zurück. 9 Sprachen, A1 bis C2.
ediviewer: EDI-Dateien wie Dokumente lesenEDIFACT- und X12-Nachrichten öffnen, jedes Segment verständlich erklärt, in JSON/XML umwandeln, als PDF und Excel exportieren. Läuft lokal, kein Upload.
giftdetect: das passende Geschenk in MinutenWähle, für wen es ist, den Anlass und die Persönlichkeit. Die Suchmaschine liest Produktbeschreibungen lokaler Shops und sortiert, was passt. Kostenlos, ohne Anmeldung.
Mehr von diesem Tag
Alle anzeigen →
QuantumDiamonds: Diamant-Sensoren sollen Fehler in Computerchips finden
Parloa baut OpenAI-Partnerschaft aus und erhält frühen Modellzugang
Paribu startet KI Paribu Intelligence und kostenloses Terminal
