NTT dévoile une IA physique qui anticipe les échecs des robots

Le NTT World Model associe un modèle de génération vidéo à un « adaptateur de contrôle physique » développé en interne. Celui-ci estime la position, l'orientation, la vitesse et la masse des objets, puis prédit leur évolution à l'aide des équations du mouvement, ce qui permet de reproduire contacts et collisions. Selon NTT, cette combinaison limite les résultats peu naturels, tels que des objets qui disparaissent ou se déforment, et préserve la cohérence physique même dans des situations non apprises.

Résultats et prochaines étapes

Le système s'intègre aux logiciels de commande de robots existants. Pour plusieurs actions candidates produites par un modèle VLA (Vision-Language-Action) ou un planificateur de mouvement, il prédit le résultat sous forme de vidéo et attribue un score de réussite à chacune, ce qui permet au robot de les comparer avant de bouger.

Dans une expérience de rangement d'objets de forme irrégulière sur une étagère avec un petit robot, l'association du modèle VLA open source π0.5 et du NTT World Model a fait passer le taux de réussite de 73,1 % à 92,3 %. Sur le benchmark public OBJ3D, qui inclut des collisions entre plusieurs objets, il obtient 7,81 en LPIPS, une mesure proche de la perception humaine de la similitude entre vidéo réelle et prédite. Il devance la méthode OCK (7,92) et NVIDIA Cosmos Predict 2.5 (21,90), un score plus bas étant meilleur.

NTT vise d'abord le chargement et le déchargement de bagages d'aéroport de formes et de poids variés. L'entreprise mènera des démonstrations avec Mujin, puis cherchera à étendre la technologie à la logistique et à l'entreposage, à l'industrie, à la construction et au commerce de détail.