Le plus souvent aujourd'hui, les technologies de capture de mouvement (capture de mouvement) sont utilisées dans les films et les jeux vidéo. Mais il existe d'autres options pour leur utilisation: aujourd'hui, la capture de mouvement permet de concourir pour le titre de meilleur opérateur de machine, vous permet de diagnostiquer la démarche, de préserver les danses des petits peuples pour les générations futures et, à l'avenir, elle vous permettra de mener une véritable guerre depuis un bunker confortable.
Chevaux, prolétaires modèles et explosions nucléaires: que tentaient de photographier les créateurs de capture de mouvement?
En 1878, Leland Stanford, le gouverneur de Californie, fondateur de l'Université de Stanford et passionné d'équitation, fait un pari avec ses amis. Il a soutenu qu'un cheval qui court au galop à un certain moment soulève les quatre pattes du sol. Les amis n'étaient pas d'accord et il était impossible de prouver ou de confirmer visuellement l'hypothèse. Stanford a ensuite fait appel au célèbre photographe et chercheur en mouvement animal Edward Muybridge pour régler le différend. Dans la ferme de Leland à Palo Alto, un "photodrome" spécial a été construit - un corral composé d'un mur blanc et de caméras dirigées vers lui depuis le mur opposé. Des cordes étaient tendues sur le chemin du corral, attachées aux portes de la caméra. Lorsque le cheval a commencé à galoper, le cavalier l'a guidé vers le photodrome, les pattes de l'animal ont touché les cordes, les portes ont fonctionné et une série d'images est apparue.
C'est ainsi qu'est née la chronophotographie, la première technologie de capture de mouvement qui a permis de résoudre un différend de 25 000 $.
Stanford a prouvé qu'il avait raison: au galop, le cheval soulève vraiment les quatre pattes du sol, mais à ce moment elles sont nichées sous le corps et non étirées d'avant en arrière, comme l'ont souvent représenté des artistes de différentes époques. Cette petite découverte a fait fureur parmi les critiques d'art et les artistes au tournant des XIXe et XXe siècles. À propos, seuls des chevaux noirs ont été utilisés pour le tir - leurs mouvements sont plus clairement enregistrés sur le fond blanc du photodrome. Source: Eadweard Muybridge / Wikimedia Commons
Mais la technologie de la capture de mouvement était intéressante non seulement en raison de la possibilité de gagner un pari, et par la suite plus d'un appareil basé sur le principe de la chronophotographie est apparu. Par exemple, le photographe Arnold Lond a inventé le chronophotographe à 12 objectifs en 1891 pour capturer les expressions faciales des patients du neurologue Jean Charcot. Depuis lors jusqu'à maintenant, la tâche principale et la plus difficile a été de reproduire les actions capturées.
Les premiers à s'intéresser à cette opportunité ont été les multiplicateurs. Dans la première décennie du 20e siècle, l'ère des dessins animés a commencé, qui étaient soit des marionnettes, soit des dessins à la main. Les artistes ont cherché à atteindre le maximum de vraisemblance des mouvements des personnages dessinés. Cela a été réalisé par l'inventeur américain Max Fleischer, qui, avec son frère Dave, a inventé la rotoscopie ("photo-shifting") en 1914. Au début, de vrais acteurs ont été filmés. Ensuite, cet enregistrement a été agrandi image par image, projeté et reproduit sur une lumière en verre. L'artiste a tracé chaque image sur du papier calque. Le résultat était un nouveau film avec un personnage réaliste.
, , , . Tantalizing Fly (« ») . . «», « 7 », « », «-», «», « » . : Mohamed El Amine CHRAIBI / YouTube
Reproduction réaliste des mouvements au moyen de leur capture vidéo a intéressé dans ces années les scientifiques de la Russie soviétique, passionnés par l'organisation scientifique du travail. Si vous étudiez à fond les mouvements des meilleurs représentants du prolétariat, alors vous pouvez enseigner à d'autres travailleurs - c'était la logique de la direction et des scientifiques soviétiques. Ce sujet a été traité par l'Institut central du travail (CIT), créé à Moscou, et supervisé par Nikolai Bernstein, le fondateur de la direction scientifique de la biomécanique, qui étudie le mouvement humain. Dans son laboratoire, Bernstein a mené des études cyclogrammétriques: le sujet était vêtu d'un costume spécial, composé de dizaines de petites lampes jouant le rôle de marqueurs. Ensuite, en utilisant un tournage rapide (100-200 images par seconde), un cyclogramme a été obtenu. L'erreur de mesure des positions d'une personne en mouvement ou en marche n'était que de 0,5 mm.
Au fil des ans, Bernstein a étudié les mouvements des athlètes, des ouvriers et des musiciens, ce qui a contribué à améliorer les performances dans les compétitions et à développer des méthodes d'enseignement dans divers domaines. Malgré la disgrâce de la période de lutte contre les «cosmopolites», Bernstein parvient tout de même à donner des recommandations sur l'adaptation des astronautes à l'état d'apesanteur. Source: Thomas Oger / YouTube
Il est à noter que Bernstein a anticipé l'avènement de la capture de mouvement optique et acoustique, pour laquelle des capteurs attachés au corps humain sont encore utilisés aujourd'hui.
Cette idée a été développée par l'Américain Lee Harrison III, qui a expérimenté des microcircuits analogiques et des tubes cathodiques. En 1959, il conçoit une combinaison avec potentiomètres intégrés (résistances réglables) et peut enregistrer et animer les mouvements d'un acteur en temps réel sur un tube cathodique. Bien qu'il s'agisse d'une configuration primitive - l'acteur animé ressemblait à un pilier de lumière à l'écran - c'était la première capture de mouvement en temps réel.
En parallèle, la méthode photo-optique a fait son chemin, lorsque la capture de mouvement était réalisée en photographiant un objet à grande vitesse ou sous différents angles de vision. Harold Edgerton, l'inventeur de la chambre Rapatronic, créée dans les années 1940, y a grandement contribué. Il est capable d'enregistrer une image fixe avec un temps d'exposition de seulement 10 nanosecondes. Grâce à cet appareil, le scientifique a pu capturer des événements très rapides - d'une éclaboussure d'eau d'une goutte tombante à une explosion nucléaire.
Le moment de l'explosion d'une charge nucléaire une fraction de seconde après la détonation, capté par une caméra rapatronique. Source: Gouvernement fédéral des États-Unis / Wikimedia Commons
À la fin du 20e siècle, deux technologies principales de capture de mouvement ont été formées, qui sont classiquement appelées marqueurs et sans marqueurs. Dans le premier cas, la capture de mouvement se fait à l'aide de marqueurs ou de capteurs placés sur le corps humain. Ils peuvent être différents: infrarouge, magnétique, gyroscopique. La lumière infrarouge peut soit réfléchir (passive) ou émettre (active) de la lumière, les magnétiques déforment le flux magnétique et le récepteur d'ondes détermine leur position dans l'espace, le capteur gyroscopique transmet également des informations sur les changements de position du corps dans l'espace.
Les systèmes sans marqueur sont basés sur la capture optique. De nombreuses caméras sont installées dans la pièce, qui prennent des photos sous différents angles. Les images résultantes sont ensuite combinées dans un modèle 3D. Un autre type est un exosquelette, qui est attaché au corps et crée un modèle d'animation, capturant les mouvements.
Si le modèle du personnage capturé doit ensuite être placé dans un environnement virtuel, il est alors filmé dans une salle verte (chromakey). Le vert contraste fortement avec les couleurs du corps humain, de sorte que l'ordinateur est meilleur pour rogner les pixels verts des cadres. Source: Toshiba
Les captures de mouvement sont principalement utilisées dans les films et les jeux vidéo. Cependant, chaque année, cette technologie est de plus en plus utilisée en dehors de l'industrie du divertissement - dans la fabrication, la médecine, la préservation du patrimoine culturel, les sports et les affaires militaires.
Répétez après moi: Comment Toshiba vous apprend-il à enregistrer à l'aide de la capture de mouvement?
Vous pouvez sans cesse regarder le feu, l'eau et comment quelqu'un travaille. Et parfois vous pouvez en profiter. Chez Toshiba, nous l'avons compris il y a longtemps, c'est pourquoi notre centre d'ingénierie de fabrication d'entreprise a le spécialiste de la capture de mouvement Hiroaki Nakamura. Récemment, il a suivi avec enthousiasme le fonctionnement des participants au championnat national des professionnels - une compétition spéciale pour les artisans de différents domaines - de la boulangerie au soudage.
En 2018, Haruki Okabe, un jeune travailleur dans l'une des entreprises Toshiba, a décidé de participer à ce concours, plus précisément à l'assemblage d'un petit appareil. Lors de l'assemblage, les candidats utilisent un bon vieux fichier pour le traitement final de certaines pièces. On pense que les techniciens de première classe dans ce secteur peuvent atteindre une précision d'usinage de 0,001 mm ou moins, sinon l'appareil ne fonctionnera pas. C'est là que notre concurrent s'est avéré faible et a raté la victoire dans la compétition.
Toshiba a envoyé un instructeur de 66 ans, Tatsuo Matsui, qui a travaillé comme dossier dans les entreprises de l'entreprise pendant plus de 50 ans, pour encadrer le jeune spécialiste. Cependant, tous les détenteurs de compétences uniques ne naissent pas comme un bon enseignant capable de les transmettre. Il a expliqué que le problème était dans la position du concurrent à la machine, mais l'affaire n'a pas progressé plus loin. Ensuite, nous les avons habillés tous les deux de costumes de capture de mouvement. Ils sont "cousus" selon le principe du marqueur, c'est-à-dire que des capteurs sont utilisés pour enregistrer les mouvements. Dans ce cas, les accéléromètres sont à peu près les mêmes que dans les smartphones. C'est beaucoup moins cher que plusieurs caméras.
Lorsque nous avons comparé leurs données, nous avons remarqué une différence significative dans la façon dont ils s'équilibrent sur leurs pieds.
L'axe vertical est la résistance du support [N], et l'horizontal est le temps [S]. Le centre de gravité du jeune travailleur étant plus concentré sur la jambe avant que le travailleur expérimenté, il y a un grand écart entre ses courbes bleues et vertes. (Okabe, un jeune ouvrier, est gaucher, et Matsui, un enseignant, est droitier, donc les lignes sont inversées dans les diagrammes.) Source: Toshiba
Il s'est avéré que le centre de gravité du jeune travailleur est fortement décalé vers l'avant, pas de la même manière que celui du spécialiste expérimenté. Pour cette raison, le candidat se fatigue rapidement lorsqu'il travaille avec un fichier et, à cause de cela, un mariage se produit. Conscient de son erreur, Okabe a pu améliorer la qualité de son dossier. Et il a remporté le bronze au Championnat national professionnel japonais. Peut-être que nos descendants apprendront des archives du travail de Matsuya. Et nous pouvons aussi leur réserver un autre type d'art en voie de disparition: la danse.
: ?
Tout le monde a probablement entendu parler de la Liste du patrimoine mondial de l'UNESCO, qui comprend plus de 1000 sites naturels et artificiels que l'humanité cherche à préserver et à transmettre aux générations futures. Au début des années 2000, beaucoup ont réfléchi à la manière de préserver ce qui n'était pas construit à la main et non créé par la nature - chant, cérémonies, représentations théâtrales, artisanat. C'est ainsi qu'apparaît le concept de patrimoine culturel immatériel (PCI), qui s'est également accumulé et préservé depuis 2003. Et la technologie de capture de mouvement aide à préserver l'un des principaux objets du PCI - la danse.
Plusieurs projets à travers le monde numérisent les danses des peuples du monde (Wholedance, i-Treasures, AniAge et autres). Le plus souvent, lors de l'enregistrement des danses, des capteurs actifs et passifs sont utilisés, qui sont placés sur le corps du danseur.
Les systèmes de capture de mouvement avec capteurs actifs utilisent des LED qui émettent leur propre lumière. Par exemple, le système de capture de mouvement Phasespace Impulse X2 se compose de huit caméras capables de capturer des mouvements à l'aide de LED modulées. Le danseur met un costume avec 38 capteurs et LED actives et commence à danser.
Le projet WholoDance a expérimenté l'intégration de Microsoft HoloLens en tant qu'outil de visualisation. La diffusion en continu sans fil des données d'Autodesk MotionBuilder vers un casque permet aux danseurs et aux chorégraphes de voir les hologrammes en temps réel. Source: Jasper Brekelmans / YouTube
Dans les systèmes de capture passive, les capteurs n'émettent pas de signal, mais le reflètent uniquement à l'aide de matériaux spéciaux à partir desquels la combinaison est fabriquée. Cette technologie offre au danseur une plus grande liberté d'action, lui permet d'effectuer des mouvements brusques, d'effectuer des éléments acrobatiques et en même temps ne réduit pas la précision et la vitesse de fixation. Désormais, les scientifiques s'attendent à intégrer les technologies de marqueurs de capture de mouvement et la prise de vue 3D, car le mimétisme et le costume du danseur sont impliqués dans la danse.
Des technologies de capture de mouvement similaires sont utilisées pour une forme d'activité physique beaucoup plus simple que la danse - pour l'analyse de la marche.
Apprendre de la marche: comment l'étude de la marche aide-t-elle les médecins?
La démarche peut en dire long sur la santé d'une personne. Timothy Niiler de la Pennsylvania State University le sait: il rassemble la plus grande collection de marches humaines au monde à l'aide de la technologie de capture de mouvement. Il invite les personnes de 18 à 65 ans à marcher sous 12 caméras haute vitesse jusqu'à son laboratoire. Niiler attache environ 40 capteurs réfléchissants au corps des participants à l'étude. Ainsi, une base de données de marche est formée, qui est ensuite utilisée par les médecins. Tout d'abord, la connaissance de la démarche normale fournit une base pour identifier presque tous les problèmes orthopédiques qui surviennent chez les adultes. Par exemple, s'il est nécessaire de mesurer l'efficacité d'une arthroplastie de la hanche ou du genou, les médecins «enregistrent» la démarche du patient et la comparent aux paramètres de marche moyens d'une base de données.
? 1/3 . 1/3 . : 2/3 . 2/3 . : Motion Analysis
Les systèmes d'analyse de mouvement, par exemple GaitTrack, sont déjà utilisés directement dans les centres médicaux. En utilisant cette technologie, les médecins calculent et généralisent les paramètres biomécaniques de base lors de la marche ou de la course, diagnostiquent les maladies articulaires à un stade précoce et détectent le risque de blessures possibles. Les entraîneurs et les athlètes utilisent la capture de mouvement de la même manière.
Plus rapide, plus haut, mieux: Comment la capture de mouvement a-t-elle aidé les basketteurs?
La capture de mouvement est largement utilisée dans le sport. L'analyse des actions des joueurs vous permet d'identifier leurs erreurs ou de tester divers équipements. Keith Pamment est l'entraîneur-chef de l'équipe de basket-ball, qui est composée d'utilisateurs de fauteuils roulants. Il est également ingénieur et se demande depuis longtemps comment la capture de mouvement peut améliorer les performances des équipes de basket-ball. En particulier, le système de capture de mouvement Perception Neuron a aidé à trouver les fauteuils roulants les plus efficaces pour les basketteurs handicapés. Les athlètes costumés sprintaient, manœuvraient, dribblaient et en tête-à-tête tout en alternant entre six types de chaises différents tandis que le formateur étudiait le mouvement de leurs animations en temps réel à l'aide de 16 caméras.
Des avatars d'athlètes animés ont été intégrés à des modèles 3D de fauteuils roulants. Source: Rockets Science CIC / YouTube
En une journée d'étude de la formation des joueurs, Keith a élaboré des critères techniques pour les chaises de sport pour son équipe en fonction des compétences, des forces, des faiblesses, du mouvement et de la technique de jeu de l'athlète. Maintenant, l'entraîneur prépare un cours complet pour ses collègues qui travaillent avec les mêmes athlètes.
Ainsi, alors que les technologies de capture de mouvement sont utilisées dans des sphères «de niche» de l'activité humaine en raison de leur «jeunesse» relative et, par conséquent, de leurs limites techniques. Mais avec le développement de la robotique, de l'apprentissage automatique, ainsi que de la réalité augmentée et virtuelle, leur champ d'application va s'étendre.
Et ensuite: avatars robotiques, téléportation et réalité virtuelle
Les robots deviennent de plus en plus agiles, plus rapides et intelligents, ce qui signifie que les gens les enverront de plus en plus là où ils ne veulent pas aller. Cependant, de nos jours, parmi les interfaces de télécontrôle des voitures, les joysticks ou exosquelettes sont principalement utilisés. De tels moyens ne sont pas toujours efficaces - leur principal inconvénient est que, d'une manière ou d'une autre, ils interfèrent ou compliquent le mouvement de la personne elle-même, qui contrôle à distance le robot. Les technologies de capture de mouvement optique peuvent résoudre ce problème.
En 2018, un groupe de scientifiques de Grande-Bretagne et d'Italie a réussi à soumettre un robot appelé Centauro aux actions d'une fille fragile grâce à la capture de mouvement. Pour ce faire, ils ont utilisé le système de reconnaissance de mouvement ASUS Xtion PRO, peu coûteux, qui contient des capteurs infrarouges et une fonction de reconnaissance d'image couleur (RVB). Elle était responsable de la capture de mouvement. Les informations reçues ont été traitées par OpenPose, un algorithme basé sur l'apprentissage automatique capable de détecter en temps réel (8-10 Hz) les mouvements du corps humain à l'aide d'images 2D d'une caméra RVB. Les coordonnées tridimensionnelles des articulations et des membres humains obtenues à partir du système, après filtration, sont transmises pour contrôler le robot Centauro.
3D- , . : Dimitrios Kanoulas / YouTube
Bien sûr, alors que le Centauro ne peut pas être armé d'un fusil d'assaut et transféré au contrôle d'un marin expérimenté, la création de tels systèmes est possible à l'avenir. En 2012, la Defense Advanced Research Projects Agency (DARPA) du département américain de la Défense a annoncé un projet sous le nom inattendu "Avatar", qui comprenait "le développement d'interfaces et d'algorithmes permettant à un soldat de coopérer efficacement avec une machine semi-autonome sur deux jambes ( bi-pédale) comme substitut du soldat. " Evidemment, un tel système permettra effectivement de doter le robot des compétences d'un soldat expérimenté et bien formé, et en même temps de le maintenir en vie dans l'environnement opérationnel le plus difficile grâce à la télécommande. L'avancement des études n'a alors pas été rapporté.
En 2018, la Fondation XPrize a annoncé un concours pour créer l'avatar du robot ANA Avatar XPrize, puis 77 équipes ont été sélectionnées pour présenter leur développement de robots avatar fin 2020. Selon les termes du concours, les développeurs doivent combiner des solutions dans le domaine de la capture de mouvement, des technologies sensibles, AR et VR. Le but ultime, qui coûtera 5 millions de dollars, sera un système où l'opérateur pourra voir, entendre, se déplacer et effectuer diverses tâches dans un environnement éloigné.
L'avatar doit avoir trois modes de fonctionnement:
- mode entièrement contrôlé: le robot n'effectue que des commandes humaines;
- Avancé: résoudre certaines tâches de manière indépendante, par exemple, l'analyse environnementale ou la cartographie;
- semi-autonome: prise de décision indépendante.
En fait, nous parlons de la "téléportation" d'une personne avec la création de l'effet d'être présent au point de contrôle du robot. À l'avenir, ces technologies permettront de contrôler à distance des robots anthropomorphes dans un environnement défavorable à l'homme: dans un cratère de volcan, dans l'espace, dans des zones de catastrophe naturelle ou en temps de guerre. En 2020, nous verrons les premiers développements, et en 2021, nous découvrirons qui sera le meilleur et recevrons 5 millions de dollars pour des recherches supplémentaires.