EgoThumb, 조작 없이 스스로 돕는 여섯 번째 로봇 손가락

카메라 영상과 관절의 현재 위치는 AI 모델로 들어갑니다. 학습에는 사람의 시범을 분석하는 모방 학습을 썼습니다. 훈련 중에는 조작자가 발로 쓰는 인터페이스로 손가락을 움직였고, 이후에는 모델이 영상만 보고 동작을 예측합니다.

병에 손을 뻗으면 로봇 엄지가 알아서 병을 잡아 주고, 진짜 손가락은 뚜껑을 돌릴 수 있습니다. 병을 내려놓으면 손을 풉니다. 버튼도 음성 명령도 필요 없습니다.

케임브리지 대학의 Third Thumb은 발가락 압력으로 조종했습니다. 596명이 참여한 연구에서 98%가 첫 1분 안에 물건을 다뤘습니다. EgoThumb는 사용자의 주의를 계속 붙잡지 않는 방향을 택했습니다.

성능은 믿을 만한가

세 사람이 큐브 들기, 뚜껑 열기, 차 젓기, 공 옮기기를 각각 10번씩 시도했습니다. 평균 성공률은 90%, 92.5%, 87.5%였습니다. 모델 훈련에 참여하지 않은 두 사람도 시범 제공자와 비슷했습니다.

다만 물체 위치나 환경을 바꾸면 일부 작업의 성공률이 떨어졌습니다. 차 젓기는 새 환경 두 곳에서 평균 약 67%와 73%였습니다. 참가자가 세 명뿐이고, AI는 외부 컴퓨터에서 돌아가며, 개발의 계기가 된 납땜은 아직 시험하지 않았습니다.

연구진은 촉각 센서 추가, 소형화, 착용감 개선, 카메라 통합을 계획하고 있습니다. 하드웨어 문서와 소프트웨어는 오픈소스로 공개됐습니다.