Données synthétiques: améliorer les algorithmes de perception et optimiser la recherche de frontières

Afin de couvrir tous les cas extrêmes rencontrés dans le monde réel, les systèmes de détection critiques nécessitent d'énormes quantités de données. L'une des approches courantes des algorithmes d'entraînement pour les voitures autonomes est la sélection et le marquage de données de conduite réelles. Au CVPR 2020, Andrey Karpaty a déclaré que Tesla utilise également cette approche - leurs voitures adaptent les balises d'objets en ligne. «Variation et contrôle» est très important car les ingénieurs adaptent constamment l'ontologie et la méthodologie d'étiquetage des données, car les voitures autonomes sont constamment confrontées à de nouveaux scénarios qui doivent être analysés.



Cependant, cette approche basée sur les données présente diverses limites en raison de l'évolutivité, des coûts de collecte de données et de l'effort considérable requis pour étiqueter avec précision les ensembles de données. Dans ce texte, l'équipe Applied discutera d'une approche de données synthétiques étiquetées. Cette approche rend l'apprentissage et le développement d'algorithmes critiques pour les véhicules sans pilote plus rapides et plus rentables.







Un exemple de données synthétiques pour les images de caméras avec des marques de référence. Image RVB d'origine (en haut à gauche), cadres 2D (en haut à droite), balisage sémantique (en bas à gauche) et cadres 3D (en bas à droite).

Approche moderne du balisage des données et des problèmes associés

La figure 2 montre une approche typique de la création d'ensembles de données étiquetés. Il s'agit d'un processus qui prend beaucoup de temps - les pilotes d'essai conduisent des véhicules équipés de plusieurs capteurs en mode manuel ou sans pilote. Au cours de ces voyages, un logiciel spécial intégré au véhicule enregistre les données brutes du capteur et la sortie du programme des modules de détection, de contrôle et de planification. Au cours du processus de développement, il peut être nécessaire de créer des véhicules spéciaux, car les véhicules de série peuvent ne pas disposer des capteurs précis nécessaires à la collecte de données. Après avoir collecté les données, la tâche difficile de former un échantillon des données qui seront balisées se pose. Cela nécessite une sélection minutieuse d'événements spécifiques et intéressants, après quoi les ensembles de données sont envoyés aux entreprises,engagé dans le balisage (il est souhaitable de minimiser la taille de l'ensemble de données afin de sauvegarder sur son balisage). Parfois, cela inclut la recherche de cas de bord spécifiques dans les journaux (comme un paquet volant sur l'autoroute). De plus, une recueil et un étiquetage peuvent être nécessaires lors de la mise à jour de la configuration de l'un quelconque des capteurs.







2:



Bien que le balisage puisse être le seul moyen de préparer les données brutes nécessaires pour former des algorithmes de conduite autonome, le principal inconvénient de cette approche est l'investissement nécessaire pour une mise à l'échelle suffisante. Les pilotes d'essai peuvent avoir besoin de parcourir des centaines ou des milliers de kilomètres pour détecter tout cas extrême. Tesla, par exemple, possède une flotte de plus d'un million de voitures de production qui collectent d'énormes quantités de données: panneaux d'arrêt dans différentes langues, différents emplacements, validation des données et plus encore - le tout au nom de l'entreprise. La plupart des équipementiers ne disposent pas de suffisamment de véhicules pour collecter ces ensembles de données. Même si d'énormes quantités de données de conduite étaient disponibles, il n'y a toujours aucune garantie.que ces données seraient disponibles dans des ensembles de données. Dans ce cas, pour collecter ces données, il est nécessaire de mener des campagnes spéciales, ce qui augmente le coût de développement et augmente le délai.



Un autre aspect est la disponibilité et la disponibilité de conditions spécifiques. Au moment d'écrire ces lignes, les États-Unis connaissent des conditions météorologiques extrêmes - le ciel devient orange (parfois même rouge) (Fig. 3). S'il n'y a pas de véhicules dans une zone avec ces conditions, il faudra des années pour collecter ces données - pour que les conditions extrêmes se reproduisent. Sinon, l'ensemble de données sera biaisé en raison du fait qu'il ne fournit pas d'échantillons de telles conditions.







Figure 3: Les conditions extrêmes sont difficiles à prévoir et à capturer dans les ensembles de données sur les véhicules autonomes. Source: CBS News.



De plus, les développeurs de véhicules autonomes sont toujours à la recherche de nouvelles conceptions et une infrastructure importante sera nécessaire pour traiter les données efficacement. De nombreuses requêtes sur ces données supposent que les données comportent déjà des balises ou un balisage. Le problème est que si cette méthode n'a pas été utilisée auparavant, elle peut alors ne pas exister. Enfin, le coût du balisage des données est assez élevé et les données sont souvent balisées manuellement. Il existe une forte probabilité d'erreurs et d'inexactitudes (par exemple, lorsqu'une voiture en chevauche une autre dans l'image).

Utiliser des données synthétiques et ses avantages

Les données synthétiques offrent une approche alternative plus évolutive et précise. Bien que les données synthétiques soient générées à partir de la simulation, des informations fiables (étiquettes de véhicule sémantiques ou texte sur les panneaux de signalisation) sont fournies avec précision. Les simulations peuvent également fournir des données précises sur l'albédo, la profondeur, le rebond et la rugosité de chaque objet de la scène (Figure 4). De plus, les objets ont des masques de pixels et des étiquettes sémantiques. Tout cela vous permet de créer des annotations automatiquement, sans avoir besoin de marquer manuellement les données des capteurs. Bien que cela puisse nécessiter un logiciel d'extraction dédié au monde réel pour créer des annotations individuelles, ce sera un investissement ponctuel qui vous permettra de créer et d'utiliser de nouvelles classes d'étiquettes.







4: . : , , , , .



Un autre avantage notable du balisage de données synthétiques est qu'il vous permet de créer de nombreuses variantes de la même scène sans avoir à voyager à travers le monde et à compter sur la chance. Les données synthétiques vous permettent également de vous concentrer sur des objets spécifiques d'intérêt pour les développeurs. Avec les bons algorithmes configurés, des millions de variantes de panneaux routiers peuvent être simulées en quelques heures. Ces options peuvent inclure différentes conditions d'éclairage, l'emplacement des objets, divers obstacles et dommages (rouille, taches d'huile, graffitis). Ainsi, les données synthétiques peuvent compléter les données tirées du monde réel. Les événements composites du monde réel peuvent être utilisés comme point de départ à partir duquel des milliers de variations de la scène originale seront créées.



La diversité est également importante d'un point de vue géographique. Afin de respecter les panneaux de signalisation étrangers avec des modifications spécifiques utilisées dans chaque pays, les véhicules d'essai devront se rendre dans ces pays. De plus, une voiture d'essai peut parcourir des centaines de kilomètres pour trouver un panneau routier spécifique, mais au final, il s'avère qu'elle était à moitié bloquée par un bus scolaire. Toutes ces difficultés peuvent être contournées en créant instantanément les scènes nécessaires à l'aide d'ensembles de données synthétiques (Figure 5). Du fait qu'un large éventail de scénarios peut être créé sur la base de données synthétiques, les algorithmes peuvent être testés sur une variété de cas extrêmes (Fig. 6).Cet article décrit comment Kodiak Robotics (qui traite des camions autonomes) utilise des simulations synthétiques pour entraîner des algorithmes et des tests - ils vérifient que leur système Kodiak Driver gère correctement divers cas de test de bord.











Figure 5: Exemples de différents panneaux de signalisation en Europe et aux États-Unis







Figure 6: Conditions routières modifiées et marquage des voies dans les données synthétiques



Un autre cas d'utilisation important est d'obtenir des échantillons de données de référence qui ne peuvent pas être collectés à partir de capteurs ou ajoutés manuellement. Un exemple typique est l'extraction précise de la profondeur d'une caméra avec un ou plusieurs objectifs. Les données du monde réel ne nous indiquent pas la profondeur de chaque pixel individuel, et il est impossible de la calculer avec précision ou de la marquer à la main.

Exigences en matière de données synthétiques

Données du capteur



Pour que le balisage des données synthétiques soit utile en termes d'algorithmes de test et d'apprentissage pour les véhicules autonomes, les données des capteurs simulés et des annotations doivent répondre à certains critères. Comme nous l'avons écrit plus tôt dans l'article sur la modélisation des capteurs, de grands ensembles de données provenant de capteurs artificiels utilisés pour développer des véhicules sans pilote devraient être générés à moindre coût et rapidement (en quelques jours). En outre, les capteurs artificiels devraient être modélisés en tenant compte des principes physiques de base inhérents à des types spécifiques de capteurs. Le facteur le plus important est le niveau de précision des modèles créés. Il y a un compromis entre l'écart de probabilité (la façon dont les algorithmes perçoivent différemment les données réelles par rapport aux données synthétiques) et la vitesse de collecte des données.Cet espace peut varier en fonction du type de capteur simulé, des objets environnants et des conditions environnementales. Il est également très important de pouvoir quantifier cet écart et d'utiliser l'estimation qui en résulte pour former une stratégie d'utilisation de données synthétiques. À titre d'exemple, jetez un œil à la figure 7, qui montre comment le modèle lidar réagit à une route mouillée. Sur la photo, vous pouvez voir comment le lidar réagit au retour au niveau du sol et aux éclaboussures des véhicules à proximité.Sur l'image, vous pouvez voir comment le lidar réagit au retour au niveau du sol et aux projections des véhicules qui l'entourent.Sur l'image, vous pouvez voir comment le lidar réagit au retour au niveau du sol et aux projections des véhicules qui l'entourent.







7:







Un autre aspect important qui se pose lorsque vous travaillez avec des données synthétiques est la variété des supports et des matériaux trouvés dans ces supports. Les environnements doivent être générés rapidement à partir de cartes et de données réelles - comme le montre la figure 8. La capacité de créer rapidement de tels environnements dépend des techniques de génération procédurale. La possibilité de modéliser n'importe quelle région géographique du monde entier est un autre avantage incroyable des données synthétiques par rapport aux données réelles. Cependant, bien que différents emplacements soient faciles à créer, si les méthodes sont mal configurées, les zones et les données peuvent être dupliquées. Actuellement, un aspect très important dans ce domaine est de trouver la relation entre la répétition des données et le reflet de la diversité du monde réel. La diversité doit être prise en compte à la fois au niveau macro (combien la surface de la route peut changer sur un segment kilométrique de l'itinéraire),et au niveau micro (par exemple, comment différents matériaux de l'environnement peuvent différer).



L'importance des matériaux dans le rendu des environnements physiquement crédibles a été discutée dans l'article précédent, bien que généralement les textures qui composent ces matériaux sont des scans de surfaces réelles. La création de combinaisons et de variations de ces matériaux pour ajouter de la variété aux données générées peut être essentielle à la fois pour l'apprentissage des algorithmes et pour les tester.







Figure 8: Environnement urbain de haute qualité généré de manière procédurale.



Annotations



Les exigences relatives aux annotations de données dépendent à la fois des cas d'utilisation et des algorithmes. Les types d'annotations de données tirées du monde réel sont présentés dans le tableau 1.







Tableau 1: Types d'annotations pour les données du monde réel



Dans le cas des données synthétiques, des informations beaucoup plus fiables sont disponibles pour générer des annotations similaires qui peuvent être capturées dans les données collectées. Les données sous-jacentes sont également reproduites avec une précision point / pixel. Enfin, les données des capteurs et les annotations peuvent être traitées dans n'importe quel cadre de référence (le monde, le système lui-même, un capteur séparé, etc.).



Le tableau 2 répertorie les types d'annotations standard pour les données générées par les simulations. En outre, de nombreux formats et types de données peuvent être personnalisés davantage.







Tableau 2: Types d'annotations pour les données synthétiques L'



utilisation de tous ces types de données de référence supplémentaires accélère considérablement le développement d'algorithmes. L'ampleur des données, la qualité et le volume des données disponibles permettent aux ingénieurs de prendre des décisions plus rapidement.







Figure 9: Données synthétiques annotées montrant des boîtes 2D au pixel parfait

---

• Premier système de contrôle série de Russie pour un moteur bicarburant avec séparation fonctionnelle des contrôleurs
• Dans une voiture moderne, il y a plus de lignes de code que ...
• Cours en ligne gratuits en automobile, aérospatiale, robotique et ingénierie (50+)
• McKinsey: repenser les logiciels et l'architecture électroniques dans l'automobile