BlanchTouch, 벽과 책상을 센서 없이 터치면으로

작동 과정은 이렇다. 헤드셋에 이미 달린 카메라가 손과 손끝을 촬영하면 AI 모델이 이미지에서 손끝의 색 변화를 찾아낸다. 이어 핸드 트래킹 시스템이 표면 위 손가락 위치를 파악하고, 그 움직임을 가상 버튼과 메뉴를 조작하는 디지털 명령으로 변환한다. 벽이나 책상에 마커나 센서를 붙일 필요가 없고, 표면마다 사전 보정을 할 필요도 없다.

공중 제스처의 불편 해소

AR·MR 기기는 공중에서 손을 움직이거나 별도 컨트롤러를 쓰는 방식이 많다. 손을 오래 들고 있으면 피로가 쌓이고, 공중 제스처는 실제 표면을 만지는 물리적 감각도 주지 못한다. 새 기술은 책상이나 벽에 손가락을 기댄 채 가상 인터페이스를 조작할 수 있어 더 편하고 자연스럽다.

연구진은 다양한 표면과 소재에서 시스템을 시험했고, 손가락 접촉을 안정적인 정확도로 감지하는 것을 확인했다. 참가자들은 일반 표면에서 상호작용 과제를 수행했다. IEEE 가상현실 및 3D 사용자 인터페이스 학회 2026에 발표된 연구에 따르면 터치 위치의 평균 오차는 5.33mm, 재현율은 97.88%였다.

활용 전망과 한계

사무실, 교실, 업무 현장에서 벽면 등을 이용해 가상 키보드와 메뉴를 제어하고, 기존 컨트롤러 의존도를 줄이는 데 쓰일 수 있다. 다만 앱을 설치하기만 하면 일반 화면이 터치스크린이 되는 것은 아니다. 현재는 핸드 트래킹 카메라를 갖춘 AR·MR 기기가 필요하다.