La protection des photos contre les systèmes de reconnaissance faciale fonctionne-t-elle?

image



Au cours du dernier mois et demi (début août 2020), de nombreuses publications / plateformes et ressources ont déjà parlé / écrit de l'algorithme de Fawkes: https://sandlab.cs.uchicago.edu/fawkes/#press .



Parmi lesquels se trouvent Habr , The New York Times , The Verge , etc.



En effet, à notre époque (calme 2020) , le thème de la surveillance, de l' identification des citoyens par des caméras de surveillance et de la recherche d'individus par photo (FindFace, etc.) est tout à fait pertinent .



Des chercheurs de l'Université de Chicago ont mis au point un algorithme de camouflage pour se protéger contre la reconnaissance faciale. Nous avons publié les sources sur github: https://github.com/Shawn-Shan/fawkes .



En août, j'ai lu sur cet outil (Fawkes Algorithm). Et j'ai décidé de remplacer mes photos sur les réseaux sociaux et sur toutes les ressources Internet où se trouvent mes vraies photos.



Mais, pour commencer, j'ai décidé d'essayer cet outil sur mes photos:



  • est-ce que les fawkes commencent;
  • vérifiez de vos propres yeux le résultat du travail des fawkes;
  • vérifier les ressources déclarées (avec les mêmes outils que l'auteur de fawkes a testé son algorithme).


Heureusement, https://github.com/Shawn-Shan/fawkes a une instruction assez détaillée et simple sur la façon de travailler avec les fawkes.



Le créateur de fawkes affirme que l'algorithme protège contre:



  • API Microsoft Azure Face,
  • Vérification du visage Amazon Rekognition,
  • Face ++ Face Search API.


Cette liste est indiquée dans le "Technical Paper" :



image



Sur un serveur personnel, compilé à partir des sources: git clone; pip3 installe fawkes. Ce n'était pas facile, mais très simple.



J'ai téléchargé ma photo sur le serveur "r1.jpg". Et selon les instructions, j'ai traité cette photo à l'aide de fawkes.

A la sortie j'ai eu la deuxième photo: "r1_min_cloaked.png". Hourra, j'ai une photo cachée. A ouvert la photo "r1_min_cloaked.png" - voyez-la de vos propres yeux. Les changements sont perceptibles, mais pas critiques. Autour des yeux, de l'arête du nez et du nez - il n'y a pas de panne d'électricité significative.



image



Après cela, j'ai décidé de vérifier le résultat ("r1_min_cloaked.png") sur les services "Microsoft Azure Face API", "Amazon Rekognition Face Verification" et "Face ++ Face Search API".



Résultat:



r1-et-r1_cloacked



Comme vous pouvez le voir, le réseau neuronal de l'API Microsoft Azure Face a montré que la photo originale (à gauche sur la capture d'écran) et la photo après traitement (à droite sur la capture d'écran) sont une seule personne. Des chiffres similaires ont été présentés pour le reste de l'outil de vérification: les réseaux de neurones «Amazon Rekognition Face Verification» et «Face ++ Face Search API».



Il en va de même pour la "protection" de la photo d'autres personnes / personnes:



r1_and_cat



obama_origin_and_cloacked



emily_origin_and_cloacked



queen_origin_and_cloacked_faceplusplus



obama_origin_and_cloacked_faceplusplus



c'est-à-dire qu'à la mi-septembre, "Fawkes" ne fonctionne pas. Peut-être, bien sûr, que Fawkes fonctionnait en août 2020. Mais en septembre 2020, cela ne fonctionne plus.



Il y a une semaine, j'ai écrit une lettre au développeur Fawkes et à son équipe Fawkes, leur demandant de m'aider à confirmer le travail de l'algorithme. Mais je n'ai pas encore reçu de lettre de réponse.



Pour le moment, je n'ai pas pu confirmer le travail de «Fawkes».



All Articles