Rappelons-nous qui je suis?
Salut habr. Je suis Ivan Bakaidov . Il y a de nombreuses années, j'ai écrit sur mon projet scolaire d'un programme qui permet aux personnes ayant un handicap physique grave de taper avec un seul bouton. Voici cet article .
Depuis ce moment, beaucoup de choses ont changé, la fille pour qui j'ai écrit ce programme est décédée , le projet est devenu connu sous le nom de LINKa. J'ai fait de nombreux programmes pour d'autres formes de déficience motrice. J'ai réalisé que j'avais perdu la vague de volontaires qui avait surgi lors du dernier habrohype, car les projets Open Source devaient être maintenus.
Mais je n'ai pas quitté le sujet du développement de programmes de communication. Et avec l'argent de la «bourse Dudya», il a développé un nouveau communicateur qui vous permet de sélectionner des cartes en un clin d'œil. Et j'ai besoin d'aide pour ajouter quelques fonctionnalités. Pile: C #, WPF.
D'un coup d'oeil? o_O! Comme ça? Est-ce que votre tête remue?
En fait, pendant longtemps, ils m'ont écrit dans les commentaires de Habr à propos de la technologie du suivi oculaire, et j'ai sauté ces commentaires, car je pensais que c'était cher et avec une tête tremblante ne pourrait pas fonctionner. J'avais tort!
Depuis 2016, Tobii (alias. Apple du monde de l'eye-tracking) a commencé à développer des appareils à faible coût pour le marché des joueurs. Ces appareils sont 10 fois moins chers que les appareils pour «personnes handicapées» (loi sur les autocollants spéciaux pour appareils). En quelques années, ils sont arrivés à l'excellent modèle Tobii 4c , qui peut être acheté dans un hypermarché électronique ordinaire et branché sur USB 2.0.
L'une des fondations m'a lancé cet appareil avec les mots «Essayez-le, mec». Je l'ai mis sur l'étagère avec les mots «Suivi oculaire et paralysie cérébrale - cela ne fonctionnera pas, alors je le verrai d'une manière ou d'une autre». Cela ne fonctionne toujours qu'avec Windows, mais j'ai un Mac. Mais les fondations sont de si grandes organisations qu'elles exigent des rapports.
Bootcamp, l'a installé, l'a installé et s'est rendu compte que cette génération d'eye trackers a appris à suivre la position de la tête, et à partir d'elle la position des yeux. À une fréquence très élevée. Et tout fonctionne, secouez la tête autant que vous le souhaitez.
Le logiciel principal de ce tracker est le jeu, dans le Dock, vous pouvez marquer 2 ennemis avec vos yeux. Toutes les démos intégrées montrent les fonctionnalités des joueurs. Mais il existe une API ouverte pour travailler dans des programmes tiers.
Il est possible de créer des interfaces guidées par les yeux. Ces interfaces sont extrêmement simples: elles sont constituées d'une grille de boutons. Lorsque vous maintenez votre regard sur le bouton, un clic se produit. Et ici, beaucoup se sont déjà distingués. Windows 10 lui-même a un émulateur de clavier et de souris intégré pour le suivi des yeux (vrai, il n'y a pas de lettres «X» et «B» dans la localisation. Ne demandez même pas de pain!).
En aucune façon!
Il existe un clavier BB2K assez sensible , j'ai écrit à ce sujet dans le développeur Habré. Personnellement , j'aime beaucoup Optikey , c'est un clavier bien localisé d'un développeur britannique. Possède plusieurs options, y compris des pictogrammes pour les enfants qui n'écrivent pas.
Eh bien, si vous avez déjà un opticien, pourquoi écrire le vôtre?
C'est une question naturelle. Comme vous vous en souvenez dans les articles précédents, pour les spécialistes qui travaillent avec des personnes à partir de la parole, il est très important de pouvoir créer le contenu choisi par le service eux-mêmes et de ne pas travailler avec une brique toute faite, dans laquelle même de très bonnes cartes sont cousues. Cela est dû au fait que souvent, les personnes sans parole doivent seulement apprendre à écrire ou simplement comprendre que le dessin de la tasse désigne la tasse même de la cuisine dans laquelle elle est bu. Et dans le même opticien, vous devez créer un jeu de cartes via PowerPoint .
C'est pourquoi Link était basé sur l'idée que j'ai bien apprise en étudiant dans une école pour enfants handicapés - «Tout doit être personnalisable». Sur la base de l'idée, une tâche très simple est apparue: créer une grille de cartes, à partir de laquelle les cartes peuvent être sélectionnées avec les yeux, mais en même temps, la méthode de sélection, les cartes et la grille doivent être faciles à personnaliser. J'ai officialisé tout cela dans le TOR et j'ai trouvé un programmeur C # qui comprenait WPF (mieux que moi). À ce moment, Yura Dud a transféré de l'argent et tout s'est bien passé en général.
Ce qui est arrivé à la fin?
Le résultat est un programme qui affiche un ensemble de cartes d'un fichier .linka dans une grille et vous permet de les sélectionner à l'aide de: Tobii eye tracker, souris, clavier et manette de jeu. Il existe également un mode dans lequel le choix d'une carte se fait d'un simple coup d'œil, et la confirmation par un bouton.
Le programme contient un éditeur pour les fichiers .linka.
→ Vous pouvez le télécharger ici gratuitement: linka.su/looks
Alors, que faut-il faire?
Malgré la simplicité et la brièveté du programme, j'espère que sa flexibilité aidera à établir la communication dans une variété de cas.
J'ai quelques petites idées que j'aimerais mettre en œuvre le programme et je serais très heureux si vous pouviez aider avec cela. Ces tâches sont décrites dans ce numéro , mais je vais en apporter quelques-unes ici et expliquer ce que je veux dire.
- , .
API Yandex TTS. , . . . , , , . , . . - Créez un système de sélection de cartes avec un seul bouton.
Malgré la magie du eye tracker, j'ai rencontré des camarades avec qui cela ne fonctionnait pas. Et je voudrais ajouter pour transférer pour eux l'algorithme de sélection d'une carte en utilisant un bouton du bon vieux lien, cliquez (et arrêtez de supporter ce dernier). - Rendre possible l'impression dans des programmes tiers.
- Localisation dans les langues des pays de la CEI.
Je serai également heureux si vous testez simplement le programme et écrivez vos idées.
→ GitHub
→ Patreon
Merci!