Osegi
AI·1 min czytania

NTT prezentuje fizyczną AI, która przewiduje porażki robotów

NTT zaprezentowało technologię fizycznej AI, dzięki której roboty przewidują ryzyko upadku lub zawalenia się ładunku i wybierają działanie z największą szansą powodzenia.

A small robot arm placing irregularly shaped boxes on a warehouse shelf while a screen shows predicted video of the outcome.
Zdjęcie: Impress Watch

NTT ogłosiło 11 listopada technologię fizycznej AI, która pozwala robotom jeszcze przed ruchem ocenić ryzyko, takie jak zawalenie się stosu paczek czy upadek przedmiotu, i wybrać działanie o największych szansach na sukces. Podstawą jest „NTT World Model”, przewidujący ruch obiektów na podstawie praw fizyki.

Model świata opisuje stan otoczenia i prognozuje, jak zmieni się on w wyniku działań robota. Dotychczasowe rozwiązania uczyły się zmian głównie z ogromnych zbiorów nagrań wideo, więc w nieznanych sytuacjach potrafiły generować prognozy sprzeczne z fizyką. To duży problem np. na lotniskach czy w sortowniach paczek, gdzie przedmioty różnią się kształtem, wagą i ułożeniem, a zebranie danych na każdą okoliczność jest trudne.

Wideo połączone z fizyką

NTT World Model łączy model generowania wideo z autorskim „adapterem sterowania fizyką”. System szacuje położenie, pozę, prędkość i masę obiektów, a następnie przewiduje zmiany stanu na podstawie równań ruchu, odtwarzając także kontakty i zderzenia. Według NTT ogranicza to nienaturalne prognozy, jak znikanie czy deformacja przedmiotów, również w sytuacjach, na których model się nie uczył.

Technologia współpracuje z istniejącym oprogramowaniem robotów. Dla wielu kandydatów na działanie, tworzonych przez modele VLA (Vision-Language-Action) lub planery ruchu, generuje przewidywany obraz skutków oraz ocenę szans powodzenia każdej opcji. Robot porównuje je przed wykonaniem ruchu.

W eksperymencie z układaniem nieregularnych przedmiotów na półce przy użyciu małego robota połączenie otwartego modelu VLA π0.5 z NTT World Model podniosło skuteczność z 73,1% do 92,3%. W publicznym teście OBJ3D, obejmującym zderzenia wielu obiektów, uzyskano wynik LPIPS 7,81, lepszy niż metoda OCK (7,92) i NVIDIA Cosmos Predict 2.5 (21,90); niższa wartość oznacza większe podobieństwo do rzeczywistego obrazu.

Pierwszym zastosowaniem ma być załadunek i rozładunek bagażu na lotniskach. NTT będzie prowadzić testy we współpracy z Mujin i chce rozszerzyć technologię na logistykę, magazyny, produkcję, budownictwo i handel detaliczny.

Aplikacje warte uwagi

SUMO: łamigłówka liczbowa

Wybierz właściwe pola, dodaj je i trafiaj w cel. Łatwa do nauczenia, trudna do opanowania. Za darmo, dla każdego wieku.

Tagi:nttphysical aiworld modelroboticsmujinvla

Więcej z tego dnia

Zobacz wszystkie →

Więcej w kategorii: AI

Zobacz wszystkie →