Des chercheurs de l'École technique supérieure suisse de Zurich (ETH) ont utilisé cette caractéristique physique de la main humaine dans leur invention - un bracelet à deux capteurs qui vous permet d'interagir directement avec des objets virtuels.
La réalité virtuelle est déjà largement utilisée dans divers domaines, mais elle est principalement nécessaire pour absorber le contenu, pas pour le créer. Mais les scientifiques suisses sont en passe de remédier à cette injustice.
L'un des professeurs de l'ETH, Christian Holtz, considère la technologie VR comme un remplacement potentiel des PC de bureau. Selon lui, le «découplage de l'écran» permettra d'exploiter pleinement l'espace virtuel: de placer des «outils de travail» autour de soi et d'interagir avec lui de la manière la plus naturelle - à la main.
Chaque doigt vibre différemment
Pourquoi n'y a-t-il toujours pas d'ordinateurs virtuels avec un nombre illimité de moniteurs et de périphériques? Holtz dit que tout dépend de l'absence de mécanismes d'interaction normaux entre les humains et les objets de réalité virtuelle. Désormais, les systèmes VR sont équipés non seulement de casques / lunettes, mais également de contrôleurs et de caméras spéciaux pour enregistrer les mouvements de l'utilisateur. De quel type de productivité et de concentration au travail pouvons-nous parler lorsque vous devez interagir avec un système aussi sophistiqué?
« ( ), . », — .
Le deuxième problème est que lors de la frappe sur le clavier, les mains bougent différemment que lors du tennis, il est donc difficile pour la caméra de capturer et d'interpréter correctement le mouvement des membres. De plus, dans ce cas, il n'y a pas de retour physique.
L'équipe de Holz s'est résignée au fait que des interfaces passives supplémentaires étaient indispensables, mais a décidé de les repenser, en tournant les doigts et leurs vibrations uniques qui se produisent lorsque vous touchez une surface dure dans une telle interface. Pour mettre en œuvre l'idée, la technologie TapID a été créée, qui sera présentée lors de la conférence IEEE VR fin mars 2021. Holz et son équipe y apporteront des prototypes TapID sous forme de bracelets en caoutchouc multicapteurs.
Les capteurs du bracelet enregistrent le moment où un doigt touche une surface et indiquent au système quel doigt la personne utilisait. Pour ce faire, le capteur analyse la vibration à la base de la main et, en fonction des caractéristiques de cette vibration, détermine quel doigt est actuellement utilisé. Le bracelet fonctionne en conjonction avec une caméra installée dans des lunettes VR et un réseau neuronal avancé développé spécifiquement pour TapID. Ensemble, ils ont permis aux chercheurs d'obtenir une précision extrêmement élevée dans l'enregistrement des «frappes» sur des touches virtuelles. Les développeurs de TapID ont déjà démontré leur idée en travaillant sur l'exemple de deux applications: un clavier virtuel et un piano virtuel.
La montre intelligente aidera les gens à jouer du piano virtuel
Holz aime particulièrement le piano virtuel: il le considère comme l'application la plus réussie pour démontrer les capacités de TapID, car il est important de prendre en compte à la fois la précision de la position des doigts et le timing des clics (après tout, des éléments tranchants supplémentaires apparaîtront dans la mélodie, et cela ne fonctionnera pas pour entrer dans le rythme) ... La technologie TapID fait un excellent travail d'enregistrement du temps de pression en utilisant un bracelet au lieu de caméras.
Mais un bracelet spécialisé peut ne pas être nécessaire. L'équipe de recherche de l'ETH a testé le développement sur 18 bracelets intelligents et s'est assuré que l'un d'entre eux puisse devenir la base de TapID, car tous ces appareils sont équipés d'un gyroscope.
Holtz estime également que le développement de son équipe simplifiera le développement de la soi-disant réalité virtuelle mobile.
«TapID est portable et peut être utilisé même en déplacement. Vous pouvez créer un espace de travail virtuel autour de vous n'importe où et n'importe quand », a ajouté le professeur.
Christian Holz rêve d'un futur dans lequel les gens peuvent utiliser un espace virtuel pour collaborer sans ressentir aucune des contraintes du matériel. Et TapID, semble-t-il, devrait être la clé du développement rapide de la technologie dans cette direction.