BlanchTouch、壁や机をセンサーなしでタッチ面に変換

処理の流れは次の通り。ヘッドセットのカメラが手と指先を撮影し、AIモデルが画像から指先の色の変化を検出する。続いてハンドトラッキングが面上の指の位置を特定し、その動きを仮想ボタンやメニューを操作するデジタルコマンドへ変換する。壁や机にマーカーやセンサーを取り付ける必要はなく、面ごとの事前キャリブレーションも不要だという。

空中操作の負担を軽減

ARやMRデバイスの操作は、空中で手を動かすか、別体のコントローラーを使う方法が一般的だ。長時間手を上げ続けると疲れやすく、空中ジェスチャーには実際の面に触れる感触もない。新技術では、机や壁に指を預けながら仮想インターフェースを操作できるため、より楽で自然な利用が可能になる。

研究チームはさまざまな面や素材で検証し、指の接触を安定した精度で検出できることを確認した。参加者は身近な面を使って操作タスクをこなせた。IEEE Conference on Virtual Reality and 3D User Interfaces 2026で発表された研究によると、タッチ位置の平均誤差は5.33mm、再現率は97.88%だった。

今後の用途と限界

オフィスや教室、職場で、壁などの面を使って仮想キーボードやメニューを操作する用途が想定され、従来型コントローラーへの依存を減らせる可能性がある。ただし、アプリを入れるだけで一般的な画面がタッチスクリーンになるわけではない。現状はハンドトラッキング用カメラを備えたARまたはMRデバイスが前提となる。