NTT представила физический ИИ, который предсказывает ошибки роботов

Видео плюс физика

NTT World Model сочетает модель генерации видео с собственным «адаптером физического управления». Система оценивает положение, позу, скорость и массу объектов, затем предсказывает изменение состояния по уравнениям движения и воспроизводит сложные взаимодействия, включая контакты и столкновения. По данным NTT, это снижает число неестественных прогнозов, например исчезновения или деформации предметов, в том числе в ситуациях, на которых модель не обучалась.

Технология совместима с существующим ПО для управления роботами. Для нескольких вариантов действий, созданных моделями VLA (Vision-Language-Action) или планировщиками движений, она предсказывает результат в виде видео и выдаёт оценку успеха каждого варианта. Так робот сравнивает варианты ещё до движения.

В эксперименте с укладкой предметов неправильной формы на полку с помощью небольшого робота связка открытой VLA-модели π0.5 и NTT World Model повысила долю успешных попыток с 73,1% до 92,3%. На открытом бенчмарке OBJ3D со столкновениями нескольких объектов показатель LPIPS составил 7,81 против 7,92 у метода OCK и 21,90 у NVIDIA Cosmos Predict 2.5; чем меньше значение, тем ближе прогноз к реальному видео.

Первым применением NTT видит погрузку и разгрузку аэропортового багажа разной формы и веса. Компания будет вести испытания совместно с Mujin и планирует расширять технологию на логистику, склады, производство, строительство и розничную торговлю.