AI2026. 11. 11. 오전 8:50 UTC·2 분 소요

NTT, 로봇의 실패를 미리 예측하는 피지컬 AI 기술 공개

NTT가 로봇이 행동하기 전에 짐 무너짐이나 낙하 위험을 예측해 성공률 높은 동작을 고르는 피지컬 AI 기술을 발표했다.

A small robot arm placing irregularly shaped boxes on a warehouse shelf while a screen shows predicted video of the outcome. — 이미지: Impress Watch

NTT는 11일 로봇이 움직이기 전에 짐 무너짐이나 낙하 같은 위험을 예측하고, 성공률이 높은 행동을 선택하게 하는 피지컬 AI 기술을 발표했습니다. 물리 법칙에 따라 물체의 움직임을 예측하는 "NTT 월드 모델"로 여러 행동 후보를 미리 평가해 작업 정확도를 높입니다.

기존 한계와 새 기술

월드 모델은 외부 상태를 파악하고 자신의 행동이 만들 미래 변화를 예측하는 모델입니다. 기존에는 대량의 영상 데이터에서 경험적으로 학습하는 방식이 주류여서, 학습하지 않은 상황에서는 물리 법칙에 어긋나는 예측이 나올 수 있었습니다. 공항 수하물이나 택배처럼 모양과 무게, 배치가 제각각인 현장에서는 모든 상황의 학습 데이터를 모으기도 어렵습니다.

NTT 월드 모델은 영상 생성 모델에 자체 개발한 "물리 제어 어댑터"를 결합했습니다. 물체의 위치와 자세, 속도, 질량을 추정하고 운동 방정식으로 변화를 예측해 접촉이나 충돌 같은 복잡한 움직임을 재현합니다. 물체가 사라지거나 변형되는 부자연스러운 예측이 줄고, 학습하지 않은 상황에서도 물리적 일관성을 유지한다는 설명입니다.

기존 로봇 제어 소프트웨어와도 연동됩니다. VLA 모델이나 모션 플래너가 만든 여러 행동 후보의 실행 후 모습을 영상으로 예측하고, 각 행동의 성공 여부를 점수로 내놓습니다. 로봇은 실제로 움직이기 전에 후보를 비교할 수 있습니다.

실험 결과와 향후 계획

소형 로봇으로 비정형 물체를 선반에 쌓는 실험에서 오픈소스 VLA 모델 "π0.5"와 결합하자 성공률이 73.1%에서 92.3%로 올랐습니다. 공개 벤치마크 "OBJ3D"의 LPIPS 지표에서는 7.81을 기록해 "OCK"(7.92)와 "NVIDIA Cosmos Predict 2.5"(21.90)를 앞섰습니다.

NTT는 첫 적용 분야로 모양과 무게가 다른 공항 수하물의 상하차 작업을 염두에 두고 있습니다. 앞으로 Mujin과 실증을 진행하고 물류·창고, 제조, 건설, 소매 분야로 확대할 계획입니다.