Genie 4 : Google DeepMind ajoute l'audio à son modèle de monde

Google DeepMind a lancé Genie 4, son tout nouveau modèle de monde, en préversion de recherche pour des testeurs de confiance. Selon l'entreprise, il génère les univers les plus photoréalistes et interactifs réalisés à ce jour, et permet de saisir des instructions pendant la simulation pour modifier la scène.

Genie 4 produit aussi un son en temps réel adapté au monde simulé : musique, bruits ambiants et dialogues interactifs. Les modifications libres sont possibles : changer la météo ou l'angle de caméra, ajouter des personnages ou des objets. Une scène reste cohérente jusqu'à deux minutes, soit deux fois plus que Genie 3, présenté en préversion il y a un peu plus d'un an. La physique et les personnages, plus humains, progressent aussi.

Gemini en réalisateur

Gemini est plus étroitement intégré. Il joue le rôle de réalisateur : il planifie les étapes et vérifie les images pendant que Genie crée le visuel. Dans une expérience liée à Gemini Robotics, un modèle Gemini 4 Argon a découpé des tâches en étapes que Genie 4 a simulées en temps réel. Cela ouvre la voie à des tests de scénarios robotiques avant leur mise en œuvre dans le monde réel.

« À l'avenir, nous verrons de plus en plus de modèles de monde hybrides », a déclaré Tejas Kulkarni, directeur de recherche chez Google : Gemini écrit du code et du texte, et Genie les transforme en simulation à différents niveaux d'abstraction.

Google met en avant le jeu vidéo, l'apprentissage interactif et la robotique. Les testeurs en voient un autre : le prototypage de films. Selon Diego Rivas, ingénieur chez DeepMind, le temps réel est surtout précieux pour l'idéation et le storyboard. À terme, Gemini Omni pourrait transformer ces prototypes en contenus créatifs, mais on en est encore loin.

Limites et déploiement

L'équipe reconnaît qu'il est tôt et que l'expérience produit finale reste floue. Les détails et les objets peuvent dériver quand la simulation dure, et la précision du son comme la lisibilité des textes dans le monde simulé ne sont pas garanties.

La sortie intervient alors que le secteur se concentre. Runway a lancé GWM Worlds 2 il y a quelques mois, World Labs doit être racheté par AMD, Amazon négocie l'achat de Decart et Rivian a acquis Third Dimension pour simuler la conduite autonome.

Dans les prochaines semaines, Genie 4 sera proposé aux abonnés Google AI Ultra dans Project Genie, ainsi qu'aux partenaires en accès anticipé de l'API Gemini et de Google AI Studio.