EgoThumb: роботизированный шестой палец, которым не надо управлять

Изображение вместе с положением суставов поступает в модель ИИ. Её обучали методом имитации: оператор управлял пальцем через интерфейс, который нажимают ногой, а алгоритм запоминал, как действовать в каждой ситуации. Теперь, когда человек тянется к бутылке, палец её придерживает, а обычные пальцы откручивают крышку. Поставили бутылку, и хватка отпускает.

Насколько EgoThumb эффективен?

Исследователи проверили устройство на трёх людях в четырёх задачах: поднять кубик, открутить крышку, размешать чай и перенести мяч. Каждый сделал по десять попыток. Средний успех составил 90%, 92,5% и 87,5%. Двое участников, не принимавших участия в обучении модели, справлялись не хуже оператора.

Но есть подвох. Эти цифры относятся к местам, знакомым алгоритму по обучению. При смене обстановки результат в части задач падал: размешивание чая в двух новых условиях получилось примерно в 67% и 73% случаев. Модель работает на внешнем компьютере, а саму пайку пока не проверяли.

Предшественник — Third Thumb из Кембриджского университета, которым управляли нажатием пальцев ног. В исследовании с 596 участниками 98% смогли брать предметы уже в первую минуту. EgoThumb же должен снять необходимость постоянно следить за пальцем.

Что дальше?

Авторы собираются добавить тактильные датчики, уменьшить конструкцию, сделать её удобнее и лучше встроить камеру. Одних датчиков для безопасности мало: палец действует физической силой, и ошибка может закончиться упавшим или раздавленным предметом. Система должна реагировать мгновенно, а человек — уметь сразу её остановить. Документация по железу и программный код открыты.