Le nouveau Flight Simulator de Microsoft est une merveille technologique qui établit de nouvelles normes dans le genre. Microsoft et Asobo Studios ont utilisé le travail de nombreux partenaires pour recréer un monde qui semble être réel et vivant, contenant des milliards de bâtiments aux bons endroits.
L'une d'elles est une petite startup autrichienne Blackshark.ai de la ville de Graz, qui, avec seulement environ 50 employés, a pu recréer chaque ville du monde en utilisant l'intelligence artificielle et d'énormes ressources de cloud computing.
Avant la sortie du nouveau Flight Simulator, nous avons rencontré le co-fondateur et PDG de Blackshark Michael Patz pour discuter du partenariat avec Microsoft et de l'avenir de son entreprise.
Blackshark est une émanation du studio de jeux Bongfish , qui a développé World of Tanks: Frontline, Motocross Madness et la série de snowboard Stoked. C'est grâce à Stoked que la société a créé Blackshark, dit Patz.
«L'un des premiers jeux que nous avons développés en 2007 était un jeu de snowboard appelé Stoked and S Stoked Bigger Edition. C'était l'un des premiers jeux avec des montagnes simulées à 360 degrés: le joueur pouvait voler autour de la montagne en hélicoptère, atterrir n'importe où et rouler vers le bas. La montagne elle-même a été créée et décrite de manière procédurale, et des obstacles sous forme de végétation, d'autres snowboarders et de petits animaux ont été placés. Ensuite, nous sommes passés aux genres de course, de tir et de contrôle automobile, sans oublier l'idée du placement procédural et de la description des objets. "
Bongfish est revenu à cette idée en travaillant sur World of Tanks, car créer d'énormes cartes avec chaque pierre placée manuellement serait une tâche très lente.
Profitant de son expérience, Bongfish a commencé à créer son propre département de développement d'IA. Ce département a utilisé un ensemble de techniques d'apprentissage automatique pour créer un système capable d'apprendre comment les concepteurs créent des cartes et, au fil du temps, peuvent les créer eux-mêmes. L'entreprise a déjà commencé à utiliser ce système dans plusieurs de ses projets, après quoi Microsoft l'a contactée.
«C'est par hasard que j'ai rencontré des gens chez Microsoft à la recherche d'un studio pour les aider avec le nouveau Flight Simulator. L'idée principale derrière Flight Simulator était d'utiliser Bing Maps comme terrain de jeu, carte et arrière-plan », explique Patz.
Mais les données de photogrammétrie de Bing Maps ont pu créer des répliques précises de seulement 400 villes, et pour la majeure partie de la superficie de la planète, de telles données n'existaient pas. Microsoft et Asobo Studios avaient besoin d'un système pour construire tout le reste.
C'est alors que Blackshark a pris le relais. Pour Flight Simulator, le studio a recréé 1,5 milliard de bâtiments à partir d'images satellites 2D.
Bien que Patz ait déclaré avoir rencontré les gens de Microsoft par accident, il convient d'ajouter que Graz avait autrefois un département Bing Maps qui a développé les premières caméras et les versions 3D de Bing Maps. Et tandis que Google Maps a pris le contrôle du marché , Bing Maps a en fait surpassé Google en 3D. Ensuite, Microsoft a ouvert un centre de recherche à Graz, et après sa fermeture, des talents locaux ont été débauchés par Amazon et d'autres entreprises.
«Par conséquent, il était très facile pour nous de trouver des personnes à des postes avec des exigences telles que« PhD en reconstruction de toiture »», explique Patz. "Je ne savais même pas qu'une telle chose existait, mais c'était exactement ce dont nous avions besoin, et nous avons trouvé deux de ces personnes."
«Il est facile de comprendre pourquoi recréer un bâtiment 3D à partir d'une carte 2D est un défi. Il n'est même pas facile de définir le contour exact d'un bâtiment. "
«Fondamentalement, nous avons effectué la tâche suivante dans Flight Simulator: nous avons étudié des zones 2D et recherché des signes de bâtiments dessus, ce qui est la tâche de la vision par ordinateur», explique Patz. «Mais si un bâtiment est obscurci par l'ombre d'un arbre, nous avons besoin de l'apprentissage automatique, car la superposition d'ombre rend impossible de comprendre ce qui fait partie du bâtiment ... L'apprentissage automatique peut restaurer le reste du bâtiment. Et ceci est un autre exemple très simple. "
Alors que Blackshark peut avoir utilisé d'autres données, y compris des photographies, des données de capteurs et des données cartographiques préexistantes, Blackshark a dû déterminer la hauteur des bâtiments et d'autres caractéristiques à partir d'informations très limitées.
Le prochain problème évident est de déterminer la hauteur du bâtiment. Si des données SIG sont disponibles, cette tâche est facile à résoudre, mais pour la plupart des régions du monde, ces données n'existaient tout simplement pas ou il n'était pas facile de les obtenir. Dans de tels cas, l'équipe a pris une image 2D et étudié divers indices, tels que des ombres, dessus. Cependant, pour déterminer la hauteur d'un bâtiment par rapport à l'ombre, vous devez connaître l'heure de la journée et les images dans Bing Maps n'étaient pas horodatées. Dans d'autres cas, Blackshark les avait, ce qui simplifiait grandement le travail. C'est là que l'apprentissage automatique vient à nouveau à la rescousse.
«L'apprentissage automatique prend une voie légèrement différente», explique Patz. «Il prend également en compte les ombres, mais comme il ne s'agit que d'une silhouette sombre, nous ne savons pas comment il se comporte. Cependant, si vous regardez un toit plat, par exemple, comparez un gratte-ciel à un centre commercial, l'équipement sur le toit d'un gratte-ciel est différent de l'équipement d'un centre commercial. Ainsi, en étiquetant les bâtiments, nous aidons l'IA à apprendre. »
Si le système sait que la hauteur moyenne d'un centre commercial dans cette zone est généralement de trois etaea, il peut fonctionner avec cela.
Blackshark ne cache pas que son système fera des erreurs, et si vous achetez Flight Simulator, vous verrez qu'il y a des erreurs avec le placement des bâtiments dans le jeu. Patz m'a informé que l'un des plus grands défis de ce projet était de convaincre les partenaires de développement et Microsoft d'autoriser cette approche.
«Nous parlons de 1,5 milliard de bâtiments. À cette échelle, vous ne pouvez plus vous fier au contrôle qualité traditionnel. L'approche traditionnelle des jeux de niveau Halo est que vous pointez votre doigt et dites «ce pixel est mauvais, corrigez-le», mais cela ne fonctionne pas lorsque vous faites du développement d'IA basé sur des statistiques. Il se peut que 20% des bâtiments aient été créés par erreur, et c'est probablement le cas dans le cas de Flight Simulator; mais nous n'aurions pas pu résoudre ce problème autrement, car l'externalisation de la modélisation de 1,5 milliard de bâtiments n'est ni logistiquement ni financièrement possible. "
Au fil du temps, ce système s'améliorera et avec Microsoft diffusant de grandes quantités de données depuis Azure, les utilisateurs verront sûrement les changements.
Cependant, le balisage n'est que la façon dont l'équipe du studio forme le modèle, et Blackshark a fait beaucoup de progrès dans ce domaine. Patz n'entre pas dans les détails, car cela fait partie du savoir-faire secret de l'entreprise, grâce auquel il a été possible de réaliser un tel volume de travail avec les efforts de seulement 50 personnes.
«Les étiquettes de données n'ont pas été une priorité pour nos partenaires», dit-il. «Par conséquent, nous avons utilisé notre système de marquage vivant, marquant essentiellement la planète entière avec les forces de deux ou trois personnes. Cela fournit aux analystes de données un outil et une interface utilisateur très puissants. Par exemple, si un analyste veut détecter un navire, il dit à l'algorithme d'apprentissage ce qu'est un navire, puis reçoit instantanément les navires trouvés dans l'image échantillonnée à la sortie. "
Sur la base de la sortie, l'analyste peut entraîner l'algorithme pour mieux reconnaître des objets spécifiques, dans notre exemple, des navires ou des centres commerciaux dans Flight Simulator. Patz dit que d'autres sociétés d'analyse géospatiale ont tendance à se concentrer sur des niches spécifiques et que les outils de Blackshark sont indépendants du type de contenu analysé.
C'est là que la vision plus large de Blackshark entre en jeu. Comme la société reçoit maintenant de bonnes critiques pour son travail avec Microsoft, elle travaille également en partenariat avec d'autres entreprises qui remodèlent des modèles de ville, tels que des simulations de conduite autonome.
«Notre objectif plus large est de créer un jumeau numérique en temps quasi réel de notre planète, et en particulier de la surface de la planète. Cela permettra aux données d'être utilisées de nombreuses manières différentes dans les cas où la photogrammétrie traditionnelle telle que Google Earth ou Apple Maps n'aide pas, car elle est simplifiée au niveau des photographies superposées à des formes géométriques simples. Pour ce faire, nous avons une boucle de traitement: nous extrayons des informations exploratoires à partir de données aériennes, qui peuvent être des images 2D ou même des ensembles de points 3D. Et après cela, nous visualisons la sémantique. "
Cette sémantique, qui décrit le bâtiment de manière très détaillée, présente un avantage majeur par rapport à la photogrammétrie: en fait, les informations sur les ombres et l'éclairage sont intégrées à la photographie, ce qui rend difficile la superposition réaliste de différents éclairages. Puisque Blackshark sait tout sur le bâtiment qu'elle crée, elle peut appliquer des fenêtres et un éclairage à ces bâtiments, ce qui crée des scènes de nuit étonnamment réalistes dans Flight Simulator.
Les nuages de points, qui ne sont pas utilisés dans Flight Simulator, sont un autre domaine que Blackshark poursuit actuellement activement. Les nuages de points sont très difficiles à lire pour les gens, surtout si vous vous en approchez. Blackshark utilise ses systèmes d'IA pour analyser les nuages de points afin de déterminer le nombre d'étages dans un bâtiment.
«Au cœur de toute notre entreprise se trouve la compréhension que nous avons besoin d'un énorme avantage technologique pour accomplir une tâche. Cela est particulièrement vrai pour l'industrie du jeu vidéo, où des projets aussi grands qu'Assassin's Creed et GTA ont affronté les limites du possible: des milliers de personnes y travaillent, ce travail est très difficile à mettre à l'échelle et à coordonner entre les continents, tout en le transformant en un produit fini. Il était évident pour nous qu'un processus plus automatisé ou partiellement automatisé était nécessaire pour résoudre une telle tâche. »
Bien que Blackshark ait été fondé en tant que société de jeux et soit maintenant en partenariat avec Microsoft et Asobo Studios, son objectif principal n'est pas le jeu, mais dans des domaines tels que la conduite autonome et l'analyse de données géographiques. Patz note qu'un autre bon exemple de ce développement est l'Unreal Engine, qui était à l'origine un moteur de jeu uniquement et est maintenant utilisé partout.
«Pendant longtemps dans l'industrie du jeu vidéo, cette situation est très inspirante car lorsque vous développez des jeux, vous réalisez à quel point la technologie révolutionnaire peut être comparée à d'autres industries», déclare Patz. «Et si vous regardez les simulateurs, des militaires aux industriels, ils avaient toujours l'air boiteux par rapport aux jeux de course. Le moment est venu pour la technologie du jeu de sortir de l'industrie du jeu et de commencer à aider toutes les autres industries. Je pense que Blackshark est devenu un exemple de la façon de procéder. "