C'est l'une des nombreuses utilisations des pixels expressifs . La plate-forme de développement Windows 10 qui vous permet de créer des rendus animés est désormais disponible gratuitement dans le Microsoft Store. En plus de l'application, il dispose d'un ensemble de logiciels, grâce auxquels vous pouvez utiliser des écrans LED pour la communication à l'aide d'effets visuels ou d'emoji.
Tout cela élargit les possibilités de communication non verbale, ouvre de nouvelles façons aux développeurs d'utiliser de manière créative via l'API open source et abaisse la barrière à l'entrée pour les programmeurs, concepteurs et chercheurs en herbe.
Expressive Pixels sert également de tremplin pour les amateurs ou les programmeurs plus expérimentés, leur permettant de créer de nouvelles créations sans avoir à comprendre comment programmer des animations et des images sur de petits appareils - il existe une bibliothèque dédiée pour cela.
Peu importe où vous travaillez, étudiez ou socialisez, Expressive Pixels offre une façon animée de personnaliser votre espace et d'amplifier votre présence, tout comme le font les images, les souvenirs et divers bibelots.
«Nous accordons beaucoup d'attention aux fonctions de base du quotidien, mais lorsque vous pensez à ce qui nous rend humains, ce sont les émotions. Nous voulons exprimer nos émotions et rester en contact les uns avec les autres », a déclaré Bernice Yu, directrice générale, stratégie et projets, Microsoft Small, Medium & Corporate Business. Elle fait partie de l'équipe du projet Expressive Pixels et a beaucoup contribué à la version 2019 d' Eyes First , qui utilise Windows 10 Eye Control , une fonctionnalité d'accessibilité clé pour les personnes malvoyantes et à mobilité réduite. «C'est formidable d'être productif, mais nous voulons tous être humains. C'est un besoin inviolable. "
Expressive Pixels s'appuie sur des années de collaboration profonde et fructueuse entre Microsoft et le groupe Enable et les personnes ayant une déficience visuelle et une mobilité sévères. Le but de ce travail est d'essayer de comprendre les préférences de ces personnes, leurs besoins et les problèmes survenant dans la communication et l'interaction avec d'autres personnes, dans l'expression créative de soi et l'auto-identification, ainsi que d'étendre les capacités des dispositifs traditionnels de communication augmentative et alternative (AAC) avec de nouveaux fonctions pour la communication non verbale, l'expression de soi, la diffusion de signaux sociaux et l'état de l'appareil.
Exemples de pixels expressifs La
communication n'est pas seulement ce que vous écrivez et dites. Il s’agit en grande partie d’un processus non verbal qui consiste à savoir quand c’est à vous de parler.
Harish Kulkarni
«La solution peut être utilisée pour des cas graves, ou comme moyen créatif et amusant de raconter quelque chose sur vous-même», déclare Harish Kulkarni, responsable technique de l'équipe des cadres d'IA dans le cloud et du groupe Microsoft Cloud et AI. Il fait partie de l'équipe Enable depuis plusieurs années et a beaucoup fait pour intégrer Eye Control dans Windows 10.
En cours de route, l'équipe a adopté les innovations les plus inattendues, surmontant les obstacles avec de nouvelles idées, inspirées par les avantages que la technologie peut apporter aux gens.
Lorsque les développeurs ont réalisé qu'ils avaient besoin d'un facteur de forme qui pouvait être facilement vu de n'importe où dans la pièce et dans n'importe quel éclairage, ils se sont tournés vers des écrans LED conviviaux proposés par des fabricants tiers tels que Sparkfun, Adafruit et Silicon Squared Displays. sont des appareils tout-en-un personnalisés conçus pour résoudre les problèmes de résolution, de communication, de stockage et d'animation par le seul ingénieur de l'équipe Expressive Pixels, Gavin Jahnke). Cependant, Expressive Pixels peut être utilisé sans écran LED ou autre appareil en insérant simplement des GIF animés dans les e-mails.
Puis un autre problème s'est posé: le développement d'un logiciel qui faciliterait l'affichage de l'animation sur les écrans. Une fois de plus, Jahnke a relevé le défi et créé un firmware qui, avec une application de développement, forme une plate-forme qui peut être exécutée sur plusieurs appareils. Avec ce firmware, les fabricants peuvent utiliser certains aspects ou les étendre. Les créateurs peuvent partager leurs animations originales dans la Cloud Gallery de l'application.
Jahnke a joué un rôle déterminant dans le développement de ces éléments clés d'Expressive Pixels - le tout pendant son temps libre, en dehors de son travail principal.
Écran carré en silicium: prototypes et évolution de l'affichage
La première version de l'appareil était un simple affichage de 16 pixels disposés en cercle. Pour fabriquer ce prototype, un cutter a été utilisé - des morceaux circulaires de matériau translucide ont été découpés, qui recouvraient les écrans afin de diffuser la lumière vive des LED.
«Habituellement, quand je fais quelque chose, j'en fais un plat royal», plaisante Jahnke, directeur général du développement de Microsoft Research. Mais il devient sérieux et ajoute: «Ma vocation est d'aider ces segments de la population et des communautés qui ne reçoivent pas le service adéquat, de leur donner ce qui ne leur est pas disponible en raison de leurs capacités techniques, mais qui est dans mes capacités techniques.
Jahnke est un homme à tout faire, ayant acquis de nouvelles compétences, y compris dans le domaine de l'électrotechnique, au cours des trois années consacrées au projet. En cours de route, il a créé une nouvelle catégorie d'appareils avec un écran LED RVB à plus haute résolution que ce qui était auparavant disponible. Il a également compris comment offrir aux utilisateurs une mobilité maximale en utilisant la technologie Bluetooth et divers mécanismes pour déclencher des animations, tels que des commutateurs ou des signaux de musique MIDI.
«Ce qui est vraiment intéressant, ce sont les conséquences involontaires de sortir de votre zone de confort et d'apprendre quelque chose de nouveau», dit-il. "Vous obtenez des idées et des capacités incroyables."
Réunion de l'équipe Expressive Pixels dans Microsoft Teams en mode Ensemble. Rangée arrière (de gauche à droite): Anne Paradiso, Bernice Y. Deuxième rangée à partir du haut (de gauche à droite): Noel Sophie, Gavin Yanke, Jarnael Chaj. Troisième rangée à partir du haut: Duane Lamb, Stacey Stutz. Rangée du bas: Christopher O'Dowd.
Le parcours de Expressive Pixels a commencé il y a plus de cinq ans avec l'intérêt du groupe Enable pour l'amélioration des dispositifs de communication augmentative et alternative (AAC), qui sont généralement trop chers car ils font partie du marché médical.
Pixels expressifs sur tous les appareils.
La directrice du développement Anne Paradiso a pris la tête de cet effort, voulant canaliser ses énergies au service des autres. Elle a travaillé dans l'équipe Jahnke chez Microsoft Research avant de rejoindre le groupe Enable, et Jahnke n'a pas refusé son aide, d'autant plus que le projet prenait de l'ampleur.
Ils ont d'abord travaillé avec l'ancien joueur de la NFL Steve Gleason, qui a inspiré et stimulé la recherche après avoir reçu un diagnostic de SLA (sclérose latérale amyotrophique). Alors que Gleason était habile à utiliser la technologie de suivi oculaire, il avait toujours du mal à communiquer lorsque des problèmes techniques survenaient et devait regarder l'écran plutôt que la personne essayant de communiquer avec lui.
«Lorsque vous parlez à une personne qui ne contrôle l'appareil vocal qu'avec ses yeux, vous remarquerez que le rythme de la conversation est beaucoup plus lent que la parole normale. Les conversations sur AAC sont souvent 12 à 25 fois plus lentes, même avec une précision prédictive et une reconnaissance des mouvements oculaires améliorées, explique Paradiso. «Ainsi, nous observons souvent comment l'interlocuteur ne peut pas supporter le silence prolongé, ou ne peut pas comprendre qu'il prépare une réponse pour lui, et continue de parler, et la personne ayant des troubles de la parole se retrouve sans possibilité de parler.
Cela a conduit à une recherche centrée sur l'utilisateur impliquant des personnes atteintes de SLA et leurs familles. Paradiso et son équipe les rencontraient régulièrement, les accompagnaient à des rendez-vous avec des médecins, observaient leurs interactions avec des neurologues, des orthophonistes, des physiothérapeutes et bien d'autres. Les réunions ont eu lieu à la maison et dans les laboratoires Microsoft. La confiance qui en résulte a permis aux chercheurs de vraiment connaître l'écosystème des personnes handicapées, de se renseigner sur les systèmes de soutien et les attitudes des membres de la famille, d'examiner l'équipement et de découvrir ce qui fonctionne et ce qui ne fonctionne pas.
Nous avons rapidement réalisé que l'optimisation des écrans LED pour la communication basée sur les emojis était une excellente opportunité.
Anne Paradiso
«Les emojis sont déjà omniprésents dans les plateformes de communication numérique, notamment la messagerie texte, les e-mails et les réseaux sociaux. Ils agissent moins pour transmettre leur intention, leur contexte ou leur humeur. Une seule icône emoji peut radicalement changer ou améliorer la perception d'un message. Nous pensons qu'ils peuvent être utilisés comme médiateurs expressifs supplémentaires pour les personnes qui sont incapables de parler ou de contrôler les muscles responsables des expressions faciales, explique Paradiso. - Les personnes atteintes de SLA qui travaillent avec nous sont parmi les personnes les plus drôles, les plus réfléchies et les plus créatives que je connaisse, mais les possibilités qui leur sont offertes d'exprimer leurs pensées sont limitées en raison des handicaps et des imperfections des appareils vocaux disponibles et des technologies sous-jacentes. Nous savons,que les gens veulent exprimer beaucoup plus avec leurs appareils AAC, et pas seulement communiquer en phrases simples. Nous voulions créer quelque chose qui aiderait les gens à participer plus activement aux conversations, serait visible dans des conditions de faible éclairage et à distance, et qui fournirait également une autre opportunité d'expression, de communication et de transmission d'émotions uniques. "
Les développeurs ont essayé divers écrans supplémentaires, mais sont revenus aux écrans LED pour plusieurs raisons: ils sont peu coûteux, ils fonctionnent raisonnablement bien et ils sont «cool». Les personnes atteintes de SLA dans la recherche ont également indiqué clairement qu'elles ne voulaient pas utiliser quoi que ce soit qui pourrait avoir des conséquences sociales négatives involontaires pour les utilisateurs.
«Observer et responsabiliser les personnes atteintes de SLA afin qu'elles puissent faire des choses qu'elles n'avaient jamais espérées est une motivation suffisante pour travailler dur», a déclaré Duane Lamb, un développeur qui a rejoint Enable Group au début de 2017. interface utilisateur et interface utilisateur. - Le plus souvent, lorsque vous parlez à quelqu'un qui ne peut communiquer qu'avec ses yeux, cette personne entre du texte tout en regardant le clavier de l'appareil en face de lui. Et vous, bien que ce soit une mauvaise forme, du point de vue de l'étiquette sociale, regardez généralement par-dessus l'épaule de votre interlocuteur pour essayer de voir ce qu'il tape. "
L'avènement des pixels expressifs est en partie dû à la volonté de résoudre ce problème.
Emoji dans l'application Expressive Pixels
Les pixels expressifs peuvent être utilisés pour animer des écrans de différentes tailles, jusqu'à 64x64 pixels, a déclaré Christopher O'Dowd, qui a aidé à combler les lacunes matérielles du projet. O'Dowd a noté que les écrans LED sont omniprésents à Maker Faire, à la maison pendant les vacances et plus encore. Les écrans LED sont si polyvalents qu'ils peuvent souvent être trouvés même sur du tissu (comme des masques, des casquettes et des sacs à dos) ou des bannières.
L'une des premières applications d'écrans LED par l'équipe d'Expressive Pixels a été le projet primé SXSW Music without Hands .
Ce projet utilise une matrice LED personnalisée avec prise en charge MIDI et synchronisation musicale. C'était un outil de visualisation optionnel pour un kit de batterie physique contrôlé par l'œil conçu pour l'un des membres d'Expressive Pixels, un musicien de Seattle vivant avec la SLA. Le projet, qui a remporté le prix de l'innovation interactive SXSW 2018: innovation musicale et audio, comprend une suite de nouvelles applications guidées par les yeux pour composer et interpréter de la musique et collaborer.
«Comment une personne incapable de parler et de bouger pour composer ou interpréter de la musique, peut-elle commander ce qui se passe sur scène ou contacter un public en direct? Qu'en est-il de jouer avec d'autres musiciens, répétés ou improvisés? Comment pouvons-nous réduire les obstacles pour rendre les programmes de musique à l'école plus inclusifs, sans séparer ou minimiser la participation des enfants handicapés? Nous étions animés par le désir de trouver des réponses à ces questions fondamentales, - rappelle Paradiso. "Nous voulions adapter notre technologie et notre design afin qu'ils correspondent aux objectifs créatifs de la personne et aux situations réelles, et non l'inverse."
Lamb a eu l'idée d'ajouter la prise en charge de l'interface MIDI (Musical Instrument Digital Interface) pour envoyer différents signaux à différents instruments, et cette idée a ensuite été transférée à Expressive Pixels.
«Chaque fois que nous avons travaillé sur un nouvel objectif, nous avons poussé la plate-forme plus loin», explique Paradiso.
La plateforme Expressive Pixels est ouverte à un large éventail de créatifs. Ce n'est pas seulement une communauté de développeurs, mais aussi des étudiants qui peuvent développer des projets pour aider d'autres personnes et apprendre JavaScript à l'aide de Microsoft MakeCode . Selon Jahnke, les MakeCodes ont généralement un très petit nombre de LED, de sorte que les capacités d'affichage complètes ouvrent un large champ aux étudiants pour créer, expérimenter et programmer en utilisant quelque chose comme des écrans Silicon Squared connectés à un gadget MakeCode.
«Expressive Pixels offre aux étudiants un moyen facile d'intégrer des animations intégrées à leurs programmes MakeCode et à leurs créations matérielles avec un minimum d'effort», déclare Jahnke.
L'application elle-même saura quelles animations sont stockées sur l'appareil, donc différentes commandes le feront réagir en conséquence.
Ce projet et d'autres projets Enable à Paradiso ont ravivé sa passion pour l'entreprise avec laquelle elle travaille depuis près de 20 ans.
«Tant de gens se réunissent et beaucoup passent leur temps personnel à travailler pour quelque chose de plus grand que chacun d'entre nous seuls - cela inspire et s'aligne avec les valeurs et la mission de notre entreprise, et cela me rend heureux et donne l'espoir d'un avenir plus inclusif et créatif pour tous », a déclaré Paradiso.
Expressive Pixels.