Bonne journée. Nos noms sont Tatiana Voronova et Elvira Dyaminova, nous sommes engagés dans l'analyse des données au Centre 2M. En particulier, nous formons des modèles de réseaux de neurones pour détecter des objets dans des images: des personnes, des équipements spéciaux, des animaux.
Au début de chaque projet, l'entreprise négocie avec les clients sur la qualité de reconnaissance acceptable. Ce niveau de qualité doit non seulement être assuré lors de la livraison du projet, mais également maintenu pendant l'exploitation ultérieure du système. Il s'avère qu'il est nécessaire de surveiller et de recycler constamment le système. Je voudrais réduire les coûts de ce processus et me débarrasser de la procédure de routine, en libérant du temps pour travailler sur de nouveaux projets.
Le recyclage automatique n'est pas une idée unique, de nombreuses entreprises disposent d'outils de pipeline internes similaires. Dans cet article, nous souhaitons partager notre expérience et montrer qu'il n'est pas du tout nécessaire d'être une grande entreprise pour réussir à mettre en œuvre de telles pratiques.
L'un de nos projets consiste à compter les personnes en file d'attente . Du fait que le client est une grande entreprise avec un grand nombre d'agences, les personnes à certaines heures s'accumulent comme prévu, c'est-à -dire qu'un grand nombre d'objets (têtes de personnes) sont régulièrement détectés. Par conséquent, nous avons décidé de lancer la mise en œuvre de la reconversion automatique pour cette tâche.
Voici à quoi ressemblait notre plan. Tous les éléments, à l'exception du travail du traceur, sont effectués en mode automatique:
- Une fois par mois, toutes les images de caméra de la semaine dernière sont automatiquement sélectionnées.
- xls- sharepoint, - : « ».
- ( ) – xml- ( ), – .
- « ». xls- ( – , – ). «». , , .
, : (, ) , , (, - ). -. - xls- «» > 0. , ( ). , . , , « ». , . , . , , .
- «» 0, – - .
- , , , , . , .
En fin de compte, ce processus nous a beaucoup aidés. Nous avons suivi une augmentation des erreurs de type II, lorsque de nombreuses têtes sont soudainement devenues «masquées», enrichi le jeu de données d'entraînement avec un nouveau type de têtes dans le temps et recyclé le modèle actuel. De plus, ce voyage vous permet de prendre en compte la saisonnalité. Nous ajustons constamment le jeu de données en tenant compte de la situation actuelle: les gens portent souvent des chapeaux ou, au contraire, presque tout le monde vient à l'institution sans eux. En automne, le nombre de personnes portant des cagoules augmente. Le système devient plus flexible et réagit à la situation.
Par exemple, dans l'image ci-dessous - l'une des branches (un jour d'hiver), dont les cadres n'étaient pas présentés dans le jeu de données d'entraînement:
Si nous calculons les métriques pour cette trame (TP = 25, FN = 3, FP = 0), il s'avère que le rappel est de 89%, la précision est de 100% et la moyenne harmonique entre la précision et l'exhaustivité est d'environ 94. 2% (sur les métriques juste en dessous). Assez bon résultat pour une nouvelle pièce.
Notre jeu de données d'entraînement avait à la fois des casquettes et des cagoules, de sorte que le modèle ne s'est pas confondu, mais avec l'apparition du mode masque, il a commencé à faire des erreurs. Dans la plupart des cas, lorsque la tête est clairement visible, les problèmes ne se posent pas. Mais si une personne est loin de la caméra, alors à un certain angle, le modèle cesse de détecter la tête (l'image de gauche est le résultat du travail de l'ancien modèle). Grâce au marquage semi-automatique, nous avons pu corriger de tels cas et recycler le modèle dans le temps (la bonne image est le résultat du nouveau modèle).
Lady close:
Lors du test du modèle, nous avons sélectionné des cadres qui n'étaient pas impliqués dans la formation (un ensemble de données avec un nombre différent de personnes sur le cadre, sous différents angles et différentes tailles), pour évaluer la qualité du modèle, nous avons utilisé le rappel et la précision.
Rappel - l'exhaustivité montre quelle proportion d'objets qui appartiennent vraiment à une classe positive, nous avons prédit correctement.
Précision - la précision montre quelle proportion d'objets reconnus comme des objets d'une classe positive, nous avons prédit correctement.
Lorsqu'un client avait besoin d'un seul chiffre, une combinaison de précision et d'exhaustivité, nous avons fourni la moyenne harmonique, ou F-mesure. En savoir plus sur les métriques.
Après un cycle, nous avons obtenu les résultats suivants:
L'exhaustivité de 80% avant toute modification est due au fait qu'un grand nombre de nouveaux départements ont été ajoutés au système, de nouvelles vues sont apparues. De plus, la saison a changé: avant cela, les «gens automne-hiver» étaient présentés dans le jeu de données de formation.
Après le premier cycle, la complétude est devenue 96,7%. Par rapport au premier article, l'exhaustivité y atteint 90%. Ces changements sont dus au fait que maintenant le nombre de personnes dans les départements a diminué, ils ont commencé à se chevaucher beaucoup moins (les vestes en duvet volumineuses sont épuisées) et la variété des chapeaux a diminué.
Par exemple, avant la norme était à peu près le même nombre de personnes que dans l'image ci-dessous.
Voici comment les choses se passent maintenant.
En résumé, citons les avantages de l'automatisation:
- Automatisation partielle du processus de marquage.
- ( ).
- ( ).
- . .
- . , .
L'inconvénient est le facteur humain de la part du marketeur - il peut ne pas être suffisamment responsable du balisage, donc un balisage avec chevauchement ou l'utilisation d'ensembles dorés - des tâches avec une réponse prédéterminée, ne servant qu'à contrôler la qualité du balisage, sont nécessaires. Dans de nombreuses tâches plus complexes, l'analyste doit vérifier personnellement le balisage - dans de telles tâches, le mode automatique ne fonctionnera pas.
En général, la pratique du recyclage automatique s'est avérée viable. Une telle automatisation peut être considérée comme un mécanisme supplémentaire qui permet de maintenir la qualité de reconnaissance à un bon niveau pendant le fonctionnement ultérieur du système.
Auteurs de l'article: Tatiana Voronova (tvoronova), Elvira Dyaminova (Elviraa)