Un exemple de suivi oculaire pour un participant sans fatigue (Ă gauche) et avec fatigue mentale (Ă droite) alors qu'il suit un objet suivant un chemin circulaire.
Le mouvement des yeux est largement étudié par les professionnels de la vision , du langage et de l' ergonomiedepuis les années 1970. Au-delà de la recherche fondamentale, une meilleure compréhension des mouvements oculaires peut être utile dans une grande variété d'applications, y compris la recherche sur la convivialité et l'expérience utilisateur, les jeux, la conduite et les interactions basées sur le regard pour l'accessibilité à la santé. Cependant, les progrès ont été limités car la plupart des recherches précédentes se sont concentrées sur des suiveurs oculaires matériels spécialisés qui étaient coûteux et difficiles à mettre à l'échelle.
Dans «la recherche sur l'accélération du mouvement oculaire via un suivi oculaire abordable et précis d'un smartphone» , publié dans Nature Communications , et « le numérique un biomarqueur de la fatigue mentale et non de la fatigue », publié dans npj Digital Medicine , nous introduisons un suivi oculaire et un apprentissage automatique précis sur smartphone qui ont le potentiel de débloquer de nouvelles recherches sur les applications dans les domaines de la vision, de l'accessibilité, de la santé et du bien-être, tout en permettant une évolutivité à différentes populations du monde entier, le tout en utilisant le caméra frontale sur votre smartphone. Nous discutons également de l'utilisation potentielle de cette technologie comme biomarqueur numérique de la fatigue mentale, qui peut être utile pour améliorer le bien-être.
Aperçu du modèle
Le cœur de notre modèle de regard était un réseau neuronal convolutif multicouche à feed-forward (ConvNet) formé sur l' ensemble de données MIT GazeCapture . L'algorithme de détection de visage a sélectionné une zone du visage avec des repères correspondants aux coins des yeux, qui ont été utilisés pour recadrer les images juste à la zone des yeux. Ces cadres recadrés ont été passés à travers deux tours ConvNet identiques avec le même poids. Chaque couche convolutive était suivie d'une couche de fusion intermédiaire . Les points de repère aux coins des yeux ont été fusionnés avec la sortie des deux tours à travers des couches entièrement connectées. Unités linéaires redressées (ReLU) a été utilisé pour toutes les couches à l'exception du dernier niveau de sortie entièrement connecté (FC6), qui n'a pas été activé.
L'architecture du modèle de regard non personnalisé. Les zones oculaires extraites de l'image de la caméra frontale servent d'entrée au réseau neuronal convolutif. Les couches entièrement liées (FC) combinent la sortie avec des points de repère dans les coins de l'œil pour générer les coordonnées X et Y à l'écran via la couche de sortie de régression multiple.
La précision du modèle de regard non personnalisé a été améliorée grâce à un réglage fin et une personnalisation pour chaque participant. Pour ce dernier, un modèle de régression léger a été ajusté à l'avant-dernière couche du modèle ReLU et des données pour un participant spécifique.
Évaluation du modèle
Pour évaluer le modèle, nous avons collecté des données auprès des participants à l'étude concordants lorsqu'ils ont vu des points apparaissant à des emplacements aléatoires sur un écran vide. L'erreur du modèle a été calculée comme la distance (en cm) entre l'emplacement du stimulus et la prédiction du modèle. Les résultats montrent que bien que le modèle non personnalisé ait une marge d'erreur élevée, la personnalisation avec ~ 30 secondes de données d'étalonnage a entraîné une réduction de plus de quatre fois l'erreur (de 1,92 cm à 0,46 cm). Avec une distance de vision de 25 à 40 cm, cela correspond à une précision de 0,6 à 1 °, ce qui est une amélioration significative par rapport aux 2,4 à 3 ° rapportés dans les travaux précédents [1, 2].
Des expériences supplémentaires montrent que la précision du modèle de suivi oculaire du smartphone est comparable à la précision des suiveurs oculaires portables modernes, à la fois lorsque le téléphone est placé sur le support de l'appareil et lorsque les utilisateurs tiennent librement le téléphone dans leur main presque devant leur tête. Contrairement aux équipements spécialisés de suivi oculaire avec plusieurs caméras infrarouges à proximité de chaque œil, le lancement de notre modèle à l'aide d'une seule caméra RVB frontale sur un smartphone est nettement plus économique (environ 100 fois moins cher) et plus évolutif.
En utilisant cette technologie de smartphone, nous avons pu reproduire les principales conclusions de recherches antérieures sur les mouvements oculaires en neuroscience et en psychologie, y compris les tâches oculomotrices standard (pour comprendre les fonctions cérébrales visuelles de base) et la compréhension naturelle des images. Par exemple, dans un simple problème de prosaccade qui teste la capacité d'une personne à bouger rapidement les yeux dans la direction d'un stimulus qui apparaît à l'écran, nous avons constaté que le délai moyen de saccade (temps pour bouger les yeux) était cohérent avec les travaux précédents.pour la santé ophtalmique de base (210 ms contre 200-250 ms). Dans les tâches de recherche visuelle guidée, nous avons pu reproduire des résultats clés tels que les effets de la visibilité de la cible et l'encombrement sur les mouvements oculaires.
Des exemples de trajectoires de balayage du regard montrent l'effet de la visibilité de la cible (c.-à -d. Le contraste des couleurs) sur l'efficacité de la recherche visuelle. Moins de fixations sont nécessaires pour trouver une cible à haute signature (à gauche) (autre que les distracteurs), tandis que plus de fixations sont nécessaires pour trouver une cible à faible signature (à droite) (similaire aux distracteurs).
Pour les stimuli complexes tels que les images naturelles, nous avons constaté que la distribution du regard (calculée en agrégeant les positions du regard sur tous les participants) de notre suivi oculaire pour smartphone était similaire à celle obtenue à partir de suiveurs oculaires volumineux et coûteux qui utilisaient des paramètres étroitement contrôlés tels que les systèmes de mise au point de laboratoire. pour le menton. Bien que les cartes thermiques du regard sur un smartphone soient plus répandues (c'est-à -dire qu'elles semblent plus «floues») que les eye-trackers matériels, elles sont fortement corrélées à la fois au niveau du pixel (r = 0,74) et au niveau de l'objet (r = 0, 90) . Ces résultats suggèrent que cette technologie peut être utilisée pour mettre à l'échelle l'analyse du regard pour des stimuli complexes tels que l'imagerie naturelle et médicale (par exemple, les radiologues examinent les IRM / TEP).
Carte du regard thermique lors de l'utilisation de notre smartphone par rapport au traqueur oculaire plus cher (100x) ( jeu de données OSIE )
Nous avons constaté qu'un smartphone peut également aider à détecter les difficultés de compréhension en lecture. Les participants qui ont lu des passages ont passé beaucoup plus de temps à rechercher des passages pertinents lorsqu'ils ont répondu correctement. Cependant, à mesure que la difficulté de compréhension augmentait, ils passaient plus de temps à étudier les passages non pertinents du texte avant de trouver un passage approprié contenant la réponse. La proportion de temps de regard passé sur le passage concerné était un bon indicateur de compréhension et fortement corrélée négativement avec des difficultés de compréhension (r = -0,72).
Biomarqueur numérique de la fatigue mentale
La détection du regard est un outil important pour déterminer la vigilance et l'état de santé, et elle est largement étudiée en médecine, en recherche sur le sommeil et dans des conditions critiques telles que les opérations médicales, la sécurité des vols, etc. Cependant, les tests de fatigue existants sont subjectifs et prennent souvent du temps. Dans notre récent article publié dans npj Digital Medicine, nous avons démontré que le regard du smartphone est considérablement altéré en raison de la fatigue mentale et peut être utilisé pour suivre l'apparition et la progression de la fatigue.
Un modèle simple prédit de manière fiable la fatigue mentale en utilisant les données du regard des participants à une mission en quelques minutes seulement. Nous avons validé ces résultats dans deux expériences différentes, une tâche de suivi d'objets indépendante de la langue et une tâche de validation dépendante de la langue. Comme indiqué ci-dessous, dans la tâche de suivi d'un objet, le regard des participants suit d'abord le trajet circulaire de l'objet, mais lorsqu'ils sont fatigués, leur regard montre de grandes erreurs et déviations. Compte tenu de l'omniprésence des téléphones, ces résultats suggèrent que regarder un smartphone peut servir de biomarqueur numérique évolutif de la fatigue mentale.
Un exemple de suivi oculaire pour un participant sans fatigue (Ă gauche) et avec fatigue mentale (Ă droite) alors qu'il suit un objet suivant un chemin circulaire.
Progression correspondante des estimations de fatigue (confiance) et de la prédiction du modèle en fonction du temps d'exécution de la tâche.
En plus de se sentir bien, regarder un smartphone peut également fournir un phénotype numérique pour le dépistage ou la surveillance de problèmes de santé tels que les troubles du spectre autistique , la dyslexie , les commotions cérébrales , etc. Cela pourrait permettre une intervention rapide et précoce, en particulier pour les pays ayant un accès limité aux services de santé.
L'accessibilité est un autre domaine qui peut être extrêmement avantageux. Chez les personnes atteintes d'affections telles que la SLA , le syndrome de la personne enferméeet l'AVC, la parole et les capacités motrices sont altérés. Regarder un smartphone peut fournir un moyen puissant de simplifier les tâches quotidiennes en utilisant le regard pour interagir, comme l'a récemment démontré Look to Speak .
Considérations éthiques
La recherche oculaire nécessite un examen attentif, y compris l'utilisation correcte de cette technologie - les applications doivent recevoir l'approbation totale et le consentement pleinement éclairé des utilisateurs pour effectuer une tâche spécifique. Dans notre travail, toutes les données ont été collectées à des fins de recherche avec l'approbation et le consentement des utilisateurs. En outre, les utilisateurs étaient autorisés à se désinscrire à tout moment et à demander la suppression de leurs données. Nous continuons d'explorer d'autres moyens de rendre l'apprentissage automatique équitable et d'améliorer la précision et la fiabilité de la technologie du regard à travers les données démographiques de manière responsable et confidentielle.
Conclusion
Nos résultats en matière de suivi oculaire précis et abordable basé sur l'apprentissage automatique sur les smartphones ouvrent le potentiel pour des études à grande échelle du mouvement des yeux dans des domaines (par exemple, les neurosciences, la psychologie et l'interaction homme-ordinateur). Ils ouvrent de nouvelles applications potentielles pour le bien public, telles que l'interaction oculaire pour l'accessibilité et les outils de dépistage et de surveillance basés sur les smartphones pour le bien-être et la santé.
Remerciements
-, . , : , , , ; , ​​, ; , ; UXR: , . , .