De la génération procédurale au déterminisme: approches de la modélisation de données synthétiques pour les voitures autonomes

image



Les simulations sont essentielles pour accélérer le développement de méthodes de conception dans de nombreuses industries. Dans le domaine des systèmes d'auto-conduite automobile, les simulations sont traditionnellement utilisées pour tester les algorithmes de planification et de contrôle de mouvement. Des simulations répétées sont utilisées pour développer des systèmes de reconnaissance dans lesquels les données des capteurs de trafic sont enregistrées et lues à l'aide de diverses piles de logiciels de vérification des performances. Cependant, ces simulations étaient principalement limitées à des scénarios trouvés dans des voitures réelles.



Il existe un autre type de simulation qui devient de plus en plus important: la génération de données artificielles de haute qualité qui transmettent avec précision des informations sur des situations de trafic réelles. Le problème de l'utilisation exclusive des données routières est que d'énormes quantités de données doivent être collectées et cartographiées pour se rapprocher des limites des modules de reconnaissance dans divers domaines opérationnels. De plus, les algorithmes de reconnaissance cessent de correspondre aux données disponibles et échouent lorsqu'ils fonctionnent en dehors de l'environnement de travail et dans d'autres conditions. À leur tour, les données synthétiques peuvent être générées rapidement et à moindre coût, et leurs descriptions sont automatiquement générées en utilisant les connaissances de base de l'environnement simulé.



Problèmes de génération de données synthétiques pour les modules perceptifs



Bien que la tâche de modélisation des données synthétiques pour les capteurs semble simple et évidente, elle est en fait très difficile. En plus de créer des environnements synthétiques réalistes pour différentes régions (par exemple, San Francisco ou Tokyo), la modélisation de chaque type de capteur nécessite une connaissance détaillée des propriétés physiques de base et des caractéristiques des différents capteurs utilisés dans l'industrie. De plus, alors que les simulations peuvent être beaucoup plus lentes pour d'autres applications qu'en temps réel, la plupart des algorithmes de conduite sans conducteur nécessitent des performances en temps quasi réel. Ainsi, différents niveaux de performances et de précision de la simulation sont nécessaires dans différents cas d'utilisation.



Bien que des efforts importants soient faits pour modéliser chacun des capteurs, les experts s'attendent à ce que dans un proche avenir, il y ait un écart notable entre les données réelles et synthétiques. Les algorithmes de perception peuvent être entraînés sur des données réelles provenant de capteurs et testés sur des données synthétiques (transition de données réelles à synthétiques) et vice versa (transition de données synthétiques à réelles), et les algorithmes de différents types fonctionneront de différentes manières. Ce problème ne se limite pas aux données de simulation. Les algorithmes de perception avec un ensemble spécifique de capteurs entraînés sur les routes de Californie sont susceptibles de moins performer avec un ensemble différent de capteurs. En outre, cet algorithme peut ne pas fonctionner correctement lorsqu'il est testé sur des routes dans d'autres régions.



image



Figure: Étape 1 - Test des systèmes perceptifs sur des données synthétiques



Création d'environnements synthétiques 3D



De nombreuses approches pour créer des environnements ont été développées à la suite de décennies de travail dans l'industrie du divertissement. Cependant, il existe des différences significatives entre les industries de la conduite autonome et du divertissement. Bien qu'il existe des exigences élevées en matière de photoréalisme dans les deux domaines, il existe des exigences supplémentaires pour les environnements de véhicules autonomes: ils doivent être créés à moindre coût et rapidement (alors que dans l'industrie du divertissement, cela peut prendre des mois), ils doivent être extrêmement réalistes (car pour l'œil humain et pour les capteurs) et variable, et devrait également prendre en charge de nombreux cas de test.



Habituellement, les environnements 3D sont créés à la main - l'artiste 3D crée des actifs et les place dans le monde créé. Cette approche produit des résultats photoréalistes et est idéale pour les démonstrations. Cependant, en raison de sa nature manuelle, il ne s'adapte pas pour créer des régions virtuelles du monde entier et ne permet pas autant d'environnements virtuels que nécessaire pour tester des véhicules sans pilote. Ainsi, nous sommes confrontés aux limites des environnements virtuels.



Une approche alternative consiste à utiliser des techniques d'analyse du monde réel pour garantir que l'environnement construit correspond à sa référence. L'inconvénient de cette méthode est que les données du monde réel comportent souvent de nombreuses erreurs et inexactitudes. Étant donné que l'éclairage est cuit et que le matériau ne peut pas être déterminé à partir de la surface, les caméras et les lidars ne fournissent que des données approximatives. En outre, l'environnement peut contenir des espaces, des descriptions incorrectes et des objets en mouvement qui doivent être supprimés. En outre, cette méthode présente des besoins importants en ressources pour le stockage des données et le calcul, et elle ne peut simuler que les zones qui se trouvent dans la vie réelle.



Une approche relativement nouvelle est la création de mondes virtuels basés sur la génération procédurale. De cette manière, de grandes zones et des villes peuvent être créées rapidement sur la base de diverses données d'entrée, ce qui permet de créer le monde à l'aide de méthodes mathématiques (Fig. 2). Il vous permet également de spécifier de nombreux environnements différents pour éviter le surajustement. Les paramètres tels que l'heure ou la météo peuvent être modifiés tant que les annotations sont exactes. En général, de nouvelles cartes peuvent être créées en une fraction du temps nécessaire pour créer manuellement des environnements virtuels. La complexité de cette approche réside dans la garantie d'une création de haute qualité d'objets du monde réel sans modifications manuelles.



image



Figure: 2: bâtiments générés de manière procédurale haute résolution



Simulation précise des capteurs



Lors de la génération de données synthétiques, les environnements dont nous avons parlé ci-dessus sont utilisés comme données d'entrée pour les capteurs. Ces capteurs doivent être capables de simuler les estimations de profondeur lidar, les caractéristiques de formation du faisceau du radar numérique et les sources de bruit dans les caméras. Dans le même temps, ces capteurs doivent être suffisamment puissants pour effectuer des tests logiciels et matériels ou fonctionner avec des applications d'apprentissage automatique qui nécessitent de grandes quantités de données.



Bien que l'hypothèse qu'un capteur puisse gérer des centaines ou des milliers de conditions et de topologies différentes, elles doivent toutes obéir aux mêmes principes fondamentaux du transfert d'énergie et de la théorie de l'information. Une structure de simulation de capteur bien pensée peut apporter de la flexibilité à la structure utilisée dans différents environnements. Cette philosophie fondamentale est basée sur la volonté de transférer les outils de conception de systèmes électro-optiques et de systèmes de traitement du signal du monde de la conception de capteurs au monde de la simulation et des technologies de détection.



Même si un système est bien pensé d'un point de vue théorique, il n'a que la valeur qu'il peut capturer les propriétés de son homologue du monde réel. Le degré de corrélation entre la réalité et le modèle dépend fortement des cas d'utilisation. Dans des scénarios simples, un simple tableau croisé dynamique de données peut être suffisant, tandis que dans d'autres cas, une évaluation statistique quantitative de diverses propriétés et caractéristiques peut être nécessaire - cela implique généralement une combinaison d'expériences en laboratoire et sur le terrain pour déterminer les propriétés spécifiques du capteur. Ainsi, la simulation des performances des capteurs (et la précision de cette simulation) peut être considérée comme une science dans laquelle un point de repère est pris puis progressivement dégradé.



image



Figure: 3: simulation d'un lidar rotatif avec 128 lasers



Efficacité et répétabilité des données synthétiques



Deux aspects limitent la facilité d'utilisation des données synthétiques: l'efficacité et la répétabilité. Pour diverses raisons, le plus grand défi de la simulation de capteurs pour les systèmes autonomes est la précision qui peut être obtenue dans les exigences de traitement en temps réel. La précision et les performances sont également étroitement liées à l'évolutivité des générations de capteurs synthétiques. Afin de créer une solution évolutive, il devient de plus en plus important d'utiliser les ressources en parallèle.



Cette coordination des ressources nous amène naturellement à la question de la répétabilité. Pour que la parallélisation soit bénéfique, un équilibre doit être trouvé entre la modélisation parallèle et non parallèle. Le déterminisme est un élément clé qui permet aux ingénieurs de tester les modifications apportées à leurs algorithmes de manière isolée tout en exploitant diverses capacités de modélisation.



Simulation de capteur: adaptation à des cas particuliers



Une fois que les méthodes de développement des environnements et des capteurs auront été créées, la question suivante se posera: les données synthétiques obtenues sont-elles suffisantes pour tous les cas d'utilisation? Les scénarios d'utilisation peuvent varier en fonction du degré de disponibilité des logiciels, de la validation du placement des capteurs à l'aide de données synthétiques au test des systèmes de production finaux avant de les déployer.



Chaque cas d'utilisation a des exigences différentes pour les niveaux de précision du modèle. Ces niveaux de précision régissent les processus de vérification et de validation. La vérification décrit le processus de détermination de la conformité du modèle résultant et de la spécification d'origine (avons-nous réussi à créer ce que nous avions initialement prévu?). La vérification est aussi liée à la définition du déterminisme (les résultats du modèle sont-ils reproduits à chaque fois dans les mêmes conditions?) En validation, c'est l'inverse: pour déterminer si le modèle répond aux besoins de l'application cible, les exigences de l'utilisateur final sont prises en compte. Dans certains cas, même en utilisant une approximation approximative du modèle physique sous-jacent au capteur est acceptable. Cependant, les cas d'utilisation de test de production nécessitent des modèles de capteurs synthétiques qui ont été testés dans des conditions de laboratoire,et dans la vie réelle - cela est nécessaire pour garantir une conformité exacte avec les niveaux d'incertitude acceptables.



La tâche d'évaluation des modèles de capteurs est également plus complexe que la simple vérification du niveau du signal de sortie. Bien que cela soit vrai pour de nombreuses technologies sensorielles dans les systèmes de conduite autonome, l'utilisateur final souhaite également que les modèles de perception fonctionnent efficacement sur des données synthétiques et réelles. Ces modèles peuvent être basés sur la vision par ordinateur ou construits à l'aide de diverses techniques d'apprentissage automatique et d'apprentissage en profondeur. Dans ces cas d'utilisation, les sources de l'incertitude sont inconnues (dans le cas où le modèle de capteur n'est pas entièrement fiable).



Approche de l'intuition appliquée



Applied Intuition a développé un outil de simulation de système de perception à partir de zéro pour résoudre les problèmes décrits ci-dessus. Cet outil comprend des outils pour créer des environnements à grande échelle, développer des capteurs avec plusieurs niveaux de précision et permettre des tests basés sur des cas d'utilisation. La génération d'environnement procédural est effectuée via un pipeline unique qui est flexible en ce qui concerne les zones géographiques, les applications de conduite sans conducteur et les sources de données.










image



Postes vacants
, , , - .



, , , .



, , . , , , , , .



, , .







À propos d'ITELMA
- automotive . 2500 , 650 .



, , . ( 30, ), -, -, - (DSP-) .



, . , , , . , automotive. , , .





All Articles