Genie 4: Google DeepMind zeigt Weltmodell mit Echtzeit-Audio

Google DeepMind hat Genie 4, sein neuestes Weltmodell, als Research Preview für ausgewählte Tester veröffentlicht. Nach Angaben des Unternehmens erzeugt es die bislang fotorealistischsten und interaktivsten Welten. Nutzer können während der Simulation Texteingaben machen, um das Geschehen auf dem Bildschirm zu verändern.

Zudem erzeugt Genie 4 passenden Ton in Echtzeit, darunter Musik, Umgebungsgeräusche und interaktive Dialoge. Auch freie Änderungen sind möglich: Wetter oder Kameraperspektive lassen sich anpassen, neue Personen oder Objekte hinzufügen. Eine Szene bleibt bis zu zwei Minuten konsistent, doppelt so lange wie bei Genie 3, das vor gut einem Jahr als Research Preview erschien. Auch Physik und menschenähnliche Figuren wurden verbessert.

Gemini als Regisseur

Gemini ist enger eingebunden. Es agiert als Regisseur, plant Schritte und prüft Einzelbilder, während Genie die Visualisierung übernimmt. In einem Forschungsexperiment zu Gemini Robotics zerlegte ein Modell namens Gemini 4 Argon Aufgaben in Schritte, die Genie 4 in Echtzeit simulierte. Das deutet darauf hin, dass sich Roboterszenarien testen lassen, bevor sie in der Realität stattfinden.

„Künftig werden wir zunehmend solche hybriden Weltmodelle sehen“, sagte Tejas Kulkarni, Forschungsdirektor bei Google. Gemini schreibe Code und Text, Genie simuliere daraus die Realität auf unterschiedlichen Abstraktionsebenen.

Google nennt Gaming, interaktives Lernen und Robotik als Einsatzfelder. Die Tester sehen zusätzlich einen neuen Nutzen: das Prototyping von Filmen. DeepMind-Ingenieur Diego Rivas sagte, Echtzeit sei besonders in der Ideenfindung und beim Storyboarding wertvoll. Mit Gemini Omni könnten Nutzer solche Prototypen später zu kreativen Assets ausbauen, das liege aber noch in der Ferne.

Grenzen und Verfügbarkeit

Das Team betont, es sei noch früh, und das endgültige Produkterlebnis stehe nicht fest. Details und Objekte können bei längerer Laufzeit abdriften. Zudem ist noch ungelöst, wie sich korrekter Ton und lesbarer Text in der Spielwelt garantieren lassen.

Die Veröffentlichung fällt in eine Phase wachsenden Wettbewerbs und erster Übernahmen. Runway brachte vor einigen Monaten sein zweites Weltmodell GWM Worlds 2 heraus. World Labs wird von AMD übernommen, Amazon verhandelt über einen Kauf von Decart, und Rivian hat Third Dimension für Simulationen beim autonomen Fahren erworben.

In den kommenden Wochen soll Genie 4 für Abonnenten von Google AI Ultra in Project Genie sowie für Early-Access-Partner der Gemini API und von Google AI Studio verfügbar werden.