BlanchTouch : murs et bureaux deviennent tactiles en réalité mixte

Un fonctionnement sans marqueurs

La caméra du casque capte la main et les doigts pendant l'interaction. Le modèle détecte le changement de couleur, un système de suivi de la main détermine la position du doigt sur la surface, puis le mouvement est converti en commande numérique pour des boutons et des menus virtuels. Ni marqueurs ni capteurs spéciaux ne sont nécessaires sur le mur ou le bureau, et aucune calibration préalable de chaque surface n'est exigée.

Le projet vise des défauts courants des commandes en réalité augmentée et mixte. Les méthodes habituelles reposent sur des gestes dans le vide ou sur des manettes séparées ; garder les bras levés longtemps fatigue, et les gestes en l'air n'offrent pas la sensation physique d'une surface réelle. Avec BlanchTouch, l'utilisateur peut appuyer ses doigts sur un bureau ou un mur tout en manipulant l'interface virtuelle.

Résultats des essais

Les chercheurs ont testé le système sur plusieurs surfaces et matériaux : il a détecté le contact des doigts avec une précision stable, et les participants ont pu réaliser des tâches sur des surfaces ordinaires. Selon l'étude, présentée à la conférence IEEE sur la réalité virtuelle et les interfaces utilisateur 3D 2026, l'erreur moyenne de localisation du toucher est de 5,33 millimètres, avec un taux de rappel de 97,88 %.

Les bureaux, salles de classe et lieux de travail pourraient en profiter, avec des surfaces proches servant à piloter claviers et menus virtuels, et moins de recours aux manettes. En revanche, un écran classique ne devient pas tactile en installant une application : la technologie exige pour l'instant un casque de réalité augmentée ou mixte doté de caméras de suivi des mains.