Entraînez des modèles de haute qualité sans balisage DensePose

Est-il possible de former un modèle de haute qualité qui prédit les coordonnées 3D de la surface corporelle de l'animal à partir d'une photographie, sans le balisage DensePose correspondant ?





Des chercheurs de Facebook Artificial Intelligence Research ont soulevé cette question lors de la conférence sur la vision artificielle CVPR 2020.





Source : https://www.facebook.com/watch/?v=678774242681114
Source : https://www.facebook.com/watch/?v=678774242681114

À propos de la tâche DensePose

DensePose-COCO , (). COCO 2014.





 

:





  • bounding boxes ,





  • pixel-perfect foreground-background ,





  • 32 , ,





  • (c, u, v) , c—  , u , v —  .





:





( ) 3D , .. 2D SMPL . (c, u, v) .





5 50 COCO 2014.





Mask-RCNN 3D .





- . , . :





.





DensePose-COCO COCO Dataset , 3D . . , , , .





DensePose Average Precision = 34.9. , = 46.8. , 0 100. knowledge transferring?





, ( , ). SMPL 3D .





, , .





Show me the code!

Comme c'est généralement le cas des articles publiés par des groupes scientifiques éminents comme FAIR - ils sont accompagnés d'un code. Pour les deux articles, il est disponible dans le référentiel officiel detectron2 sur GitHub  .





Le premier code du premier article, écrit à l'aide de la première version de detectron, basée sur Caffe2, peut également être trouvé sur GitHub.








All Articles