NextMind Dev Kit: examen de la première interface neuronale en temps réel



Le rêve de contrôler un ordinateur avec le pouvoir de la pensée émeut les esprits depuis plus d'un demi-siècle. Depuis 1960, les experts de la DARPA envisagent la possibilité d'une symbiose entre l'homme et l'ordinateur. Il semblerait que la tâche soit élémentaire: lire le signal électrique du cerveau, former une commande sur sa base et l'exécuter sur un ordinateur. Mais même au premier stade, de très grosses difficultés surgissent. Le fait est que le signal du cerveau est si faible qu'il doit être amplifié près de 20 000 fois.



Ce n'est pas un problème d'assembler un tel schéma maintenant, mais ici une autre nuance importante se pose. Afin d'éliminer un signal utile du cuir chevelu, la plus grande zone de contact possible des capteurs est nécessaire. Avec une petite surface de contact, des problèmes commenceront inévitablement à survenir en raison d'une forte augmentation de la résistance. Le signal souhaité ne sera tout simplement pas distinguable du bruit de fond.



Idéalement, votre tête devrait être rasée, mais pour la plupart des gens, ce n'est pas une option. Pour l'enregistrement par électroencéphalogramme (EEG) traditionnel sans rasage, des gels spéciaux à haute conductivité électrique sont utilisés. Il est peu probable que quelqu'un veuille enduire sa tête de gel chaque fois qu'il utilise l'interface neuronale.



Un autre problème se pose lors de l'interprétation des signaux. Contrairement à un ordinateur, où les signaux sont numériques, notre cerveau n'est capable de produire que de faibles vibrations électriques avec des fréquences spécifiques, répondant ainsi à divers événements. De tels événements peuvent être une stimulation visuelle et une concentration de l'attention. Reconnaître les ondes cérébrales de ces deux événements est au cœur du casque neuro NextMind. Examinons de plus près l'appareil et voyons comment les développeurs ont résolu tous ces problèmes.



Apparence de l'appareil





Le casque est livré dans une belle boîte noire avec une bande verte au milieu. À l'intérieur se trouvent le casque lui-même, un support de tête et un câble de chargement USB Type-C. Il n'y a pas d'échange de données sur le câble, donc ce n'est vraiment que pour la charge. La communication avec le casque s'effectue via Bluetooth.



La connexion du casque au support de tête se fait selon le principe d'une pince à linge ordinaire. Pressez légèrement la partie supérieure avec le logo, insérez l'insert en plastique et relâchez. C'est tout - le casque est solidement fixé. Cette méthode implique clairement l'utilisation de différentes options de montage sur la tête, y compris en association avec des lunettes VR / AR.





Sur le côté adjacent à la tête, il y a 9 électrodes disposées verticalement, chacune ayant trois degrés de liberté (course inclinée gauche-droite, haut-bas et bas-haut). Sans cela, il est impossible d'assurer un ajustement parfait. Chaque électrode bifurque à la fin, créant 18 lignes de contact. De manière surprenante, visuellement les électrodes sont en plastique, au toucher elles ressemblent légèrement à un revêtement doux au toucher. Le métal n'entre pas réellement en contact avec le cuir chevelu. Je ne peux que supposer que du plastique conducteur est utilisé ici.





En général, le casque semble assez strict et futuriste. Pour une raison quelconque, une association vient à l'esprit avec un peigne magique d'un conte de fées pour enfants, exaucant des souhaits. Voyons ce que ce peigne satisfait aux désirs.



Premier démarrage et étalonnage



Tout d'abord, vous devez télécharger le logiciel à partir du site officiel du projet. Jusqu'à présent, il n'y est présent que pour Windows et MacOS. Avec le gestionnaire d'applications et le SDK pour Unity, il existe un certain nombre de démos, que nous avons bien sûr testées sur nous-mêmes. Après avoir lancé le tableau de bord NextMind Manager, lancez-les et accédez à la section Configuration et calibrage. Il est temps de se coupler avec le casque.





L'appareil n'a qu'un seul bouton. Une courte pression dessus allume et éteint le casque. Un appui long pendant 4 secondes lance le processus de connexion. La LED blanche a trois modes de fonctionnement. En mode de fonctionnement, il s'allume en permanence. Pendant le couplage, Bluetooth clignote lentement et lorsqu'il attend une confirmation, il clignote rapidement.



Une fois l'appairage terminé, la charge actuelle de la batterie et un indicateur à huit points de la qualité de l'ajustement de l'électrode apparaîtront dans le coin supérieur droit. Maintenant, vous devez mettre le casque sur votre tête, en essayant de placer le centre dans la «bosse» du cortex visuel. Il est facile de le trouver au toucher. Malgré le fait que cela se fasse très rapidement dans les vidéos promotionnelles, il est peu probable que vous puissiez mettre correctement le casque la première fois. J'ai une coupe de cheveux courte, donc c'était plus facile pour moi, mais ma femme avait des problèmes, et une partie des cheveux a dû être tirée en chignon.





Vous devez maintenant obtenir un ajustement parfait des électrodes sur le cuir chevelu, en secouant lentement et doucement le casque, en le déplaçant de haut en bas. La difficulté est que le détecteur réagit lentement et à chaque fois après le déplacement, il faut attendre une seconde jusqu'à ce que les 8 points s'allument d'abord en rouge, puis changer de couleur en vert aux points où le contact est parfait. Un décalage millimétrique suffit, et tous les points disparaissent d'abord, puis redeviennent rouges, et ensuite seulement verts.



Ceci est spécifique au processus d'étalonnage. Dès que tous les points deviennent verts, vous ne pouvez pas déplacer le casque, le contact est exactement normal. Par expérience, je peux dire que vous n'avez pas besoin de trop serrer le support, mais il ne doit pas pendre. La réponse lente du détecteur est probablement due au fait que l'algorithme doit recevoir et reconnaître le signal pendant un certain temps, le séparant du bruit. Après cela, le casque fonctionne beaucoup plus rapidement.





Le plaisir commence - l'étalonnage visuel de l'image. Dans les 45 secondes, un cercle avec un motif clignotant de "bâtons" placés au hasard apparaît au centre de l'écran. Au centre du cercle, il y aura une "vue" de trois lignes vertes - c'est un indicateur de concentration. Une fois que vous vous concentrez sur le cercle, les lignes se rejoignent pour former un triangle. Si vous êtes distrait, ils se disperseront à nouveau. Pour étalonner correctement le casque, vous devez maintenir la concentration pendant toute la durée de l'étalonnage.





Le système évalue votre résultat de 1 à 5. Je dirai tout de suite que si vous en obtenez 3 ou moins, je vous recommande de répéter immédiatement l'étalonnage afin de ne pas gâcher votre expérience. Vous ne pouvez pas changer la position de votre tête, bouger vos bras / jambes et parler au moment de l'étalonnage. Vous devriez pouvoir voir clairement le cercle et ne pas le quitter des yeux. Après avoir obtenu un score de 4 ou 5, vous pouvez vous tester dans trois cercles et exécuter des applications.





Cerveau comme un DJ



La première démo à essayer est Music Composer. L'écran présente des formes géométriques regroupées par type d'outil. Il s'agit d'un "looper" classique dans lequel vous pouvez activer ou désactiver la piste en boucle de l'instrument sélectionné. Il suffit de se concentrer sur n'importe quelle figure de la même manière que pendant le processus d'étalonnage, et il commencera à jouer de la musique. Pour être honnête, ce fut une expérience choquante et incomparable pour moi. Véritable technomagie, pour ainsi dire.





Fait intéressant, la probabilité d'erreur est presque nulle, je n'ai jamais pu inclure un élément sur lequel je ne me suis pas concentré. Il est donc prudent de dire que chaque forme géométrique évoque un motif spécifique dans le cortex visuel, qui est clairement lu par le casque. Il serait intéressant de savoir par quoi exactement ce modèle est formé.



Je ne peux que supposer que le rôle principal est joué par la forme de l'image, et comme stimulus supplémentaire - la fréquence de clignotement du motif avec des «bâtons» aléatoires. Je vous serais reconnaissant de confirmer ou de réfuter mon hypothèse dans les commentaires.



En plus de l'application avec musique, l'ensemble standard de versions de démonstration comprend un petit jeu de plateforme, dans lequel, avec le contrôle classique à partir du clavier, vous devez effectuer des actions avec un casque neuro, en vous concentrant sur les éléments volant dans le personnage.



Cerveau comme une télécommande de télévision



Une autre démonstration intéressante est le contrôle de la télévision. Il existe plusieurs courtes vidéos qui simulent les chaînes de télévision et une interface de contrôle simple dans les coins de l'écran. "Cliquer" avec le cerveau sur chacun des coins ouvre les panneaux avec des boutons. Sur la gauche - commutation "chaînes de télévision", et sur la droite - Pause et Muet / Unmute.





Même en tenant compte du fait qu'il ne s'agit que de la version de démonstration la plus simple, il devient évident que ce casque neuro est utilisé par des personnes ayant des besoins supplémentaires qui ne peuvent pas utiliser les interfaces d'entrée habituelles. Je suis sûr que cela augmentera leur qualité de vie à un nouveau niveau. Tous les lecteurs, je pense, se souviennent de Stephen Hawking, qui contrôlait l'ordinateur avec les mouvements des muscles faciaux de sa joue, il suffit ici de jeter un regard concentré et d'obtenir immédiatement la pression attendue du bouton virtuel.



Avantages et inconvénients



Je vais essayer d'être aussi objectif que possible et énumérer tous les avantages et inconvénients de l'utilisation de ce casque. Commençons par les points positifs:



  • En effet, il permet de contrôler un ordinateur et une technologie avec le "pouvoir de la pensée".
  • Potentiellement intéressant pour les développeurs, en particulier ceux qui créent déjà des applications et des jeux sur Unity.
  • A un beau design futuriste.
  • Convient aux personnes de différentes professions - des architectes aux musiciens.
  • Longue durée de fonctionnement (ce bébé travaille tranquillement pendant 8 heures non-stop).


Maintenant, à propos des inconvénients, il y en a aussi beaucoup ici:



  • L'appareil a un prix assez élevé (coût actuel - 400 $) et n'est pas encore vendu en Russie. À titre de comparaison, le même Neurosky Mindwave ne coûte que 110 $, bien que les revendeurs nationaux le vendent 2-3 fois plus.
  • Il sera peu pratique à utiliser pour les personnes aux cheveux longs. Idéalement, il est probablement préférable d'être chauve ou avec une coupe courte.
  • Bien qu'un étalonnage fréquent soit requis (avec un nouveau firmware, ils promettent de le réparer).
  • Il n'est pas pratique de porter une telle chose pendant longtemps, l'ergonomie doit encore être améliorée.
  • Pas de logiciel. Les versions de démonstration sont cool, mais ce gadget ne deviendra vraiment demandé que lorsque suffisamment d'applications seront écrites.
  • Il est peu probable que les personnes malvoyantes puissent l'utiliser, après tout, seule la stimulation visuelle de l'activité cérébrale peut être clairement retracée (même si j'avoue que je me trompe, je ne suis pas médecin).


En résumé, nous ne pouvons dire qu'une chose: un tel appareil est vraiment un pas dans le futur. Ce n'est pas seulement un beau concept, mais un appareil fini d'une seule pièce qui fonctionne déjà bien et remplit les fonctions déclarées. Il est applicable à un très large public, non seulement d'un point de vue pratique mais aussi d'un point de vue divertissant. Dans les jeux, le casque offre une nouvelle expérience intéressante. C'est un peu comme la première fois que je prends une télécommande Nintendo Wii ou PlayStation Move.



Bien sûr, il y a eu quelques petits problèmes, qui sont principalement dus aux spécificités de l'appareil. Mais si vous regardez en arrière, l'écrasante majorité des gadgets modernes ont commencé avec la même chose. Il suffit de rappeler les écrans tactiles résistifs peu pratiques des ordinateurs de poche, qui devaient être contrôlés par le stylet. À l'ère des écrans multitouch capacitifs, cela semble être un anachronisme, mais ce sont les écrans résistifs qui sont à un moment donné le catalyseur de la transition des téléphones portables conventionnels vers les smartphones.






All Articles