EgoThumb: robotyczny szósty palec, który pomaga bez sterowania

Obraz trafia do modelu AI razem z informacją o położeniu przegubów. Model uczył się metodą naśladowania: operator sterował palcem za pomocą interfejsu obsługiwanego stopą, a algorytm zapamiętywał, co robić w danej sytuacji. Teraz, gdy człowiek sięga po butelkę, kciuk ją przytrzymuje, a naturalne palce odkręcają nakrętkę. Po odstawieniu butelki chwyt się zwalnia.

Jak skuteczny jest EgoThumb?

Naukowcy testowali urządzenie na trzech osobach w czterech zadaniach: podnoszenie kostki, odkręcanie nakrętki, mieszanie herbaty i przenoszenie piłki. Każdy wykonał po dziesięć prób. Średnia skuteczność wyniosła 90%, 92,5% i 87,5%. Dwie osoby, które nie brały udziału w trenowaniu modelu, radziły sobie podobnie jak operator.

Jest jednak haczyk. Wyniki dotyczą miejsc znanych algorytmowi z treningu. Po zmianie otoczenia skuteczność części zadań spadała, a przy mieszaniu herbaty w dwóch nowych miejscach wyniosła około 67 i 73%. Model działa na zewnętrznym komputerze, a samego lutowania nikt jeszcze nie sprawdził.

Poprzednikiem jest Third Thumb z Uniwersytetu Cambridge, sterowany naciskiem palców stóp. W badaniu 596 uczestników 98% potrafiło manipulować przedmiotami już w pierwszej minucie. EgoThumb ma natomiast odciążyć uwagę użytkownika.

Co dalej z robotycznym kciukiem?

Twórcy zapowiadają czujniki dotykowe, mniejszą konstrukcję, wygodniejsze noszenie i lepiej zintegrowaną kamerę. Same czujniki nie zagwarantują bezpieczeństwa: palec działa fizyczną siłą, a błąd może oznaczać upuszczenie lub zgniecenie przedmiotu. System musiałby więc reagować błyskawicznie, a użytkownik powinien móc go natychmiast zatrzymać. Dokumentacja sprzętowa i oprogramowanie są dostępne jako open source.