BlanchTouch: Wände und Schreibtische werden zu AR-Touchflächen

So funktioniert es

Die Kamera der Brille erfasst Hand und Fingerspitzen, während der Nutzer mit der Umgebung interagiert. Das KI-Modell erkennt den Farbwechsel, ein Handtracking-System bestimmt die Position des Fingers auf der Fläche, und die Bewegung wird zu einem digitalen Befehl für virtuelle Schaltflächen und Menüs. Marker oder Spezialsensoren an Wand oder Tisch sind nicht nötig, ebenso wenig eine vorherige Kalibrierung jeder Fläche.

Die Arbeit soll typische Probleme der AR- und MR-Bedienung lösen. Üblich sind Gesten in der Luft oder separate Controller, und lange erhobene Arme ermüden. Zudem fehlt Luftgesten das physische Gefühl, eine echte Fläche zu berühren. Mit BlanchTouch können Nutzer die Finger auf Tisch oder Wand abstützen, während sie die virtuelle Oberfläche bedienen.

Testergebnisse

Die Forscher prüften das System auf verschiedenen Oberflächen und Materialien. Es erkannte Fingerkontakt mit stabiler Genauigkeit, und die Teilnehmer konnten Aufgaben auf gewöhnlichen Flächen erledigen. Laut der Studie, vorgestellt auf der IEEE Conference on Virtual Reality and 3D User Interfaces 2026, lag der mittlere Fehler bei der Bestimmung der Berührungsposition bei 5,33 Millimetern, die Recall-Rate bei 97,88 Prozent.

Einsatzmöglichkeiten sehen die Forscher in Büros, Klassenzimmern und Arbeitsumgebungen, wo Flächen in der Nähe virtuelle Tastaturen und Menüs steuern und klassische Controller entbehrlich machen könnten. Das heißt aber nicht, dass sich ein gewöhnlicher Bildschirm per App-Installation in einen Touchscreen verwandelt: Derzeit braucht es eine AR- oder MR-Brille mit Handtracking-Kameras.