L'été dernier, alors que des millions de personnes sont descendues dans la rue pour protester contre la brutalité policière après l'assassinat de George Floyd, les agences gouvernementales n'ont pas perdu de temps à se tourner vers les systèmes de reconnaissance faciale pour suivre les manifestants. Dans le même temps, les autorités ont commencé à exhorter le port de masques pour contenir l'épidémie de Covid-19, et beaucoup ont découvert leurs avantages dans cette mesure. Une étude massive publiée par l'Institut national des normes et de la technologie en juillet 2020 a révéléque le masque pouvait tromper certains systèmes de reconnaissance faciale dans près de la moitié des cas, suggérant que les manifestants masqués obtenaient une certaine protection contre la surveillance de masse.
Cela m'a amené à réfléchir: comment utiliser le plus efficacement possible les masques et autres accessoires du quotidien pour confondre les systèmes de reconnaissance faciale? J'ai décidé de le découvrir.
Selon Gothamist , le service de police de la ville de New York a utilisé des systèmes de reconnaissance faciale (éventuellement combinés avec des photos des médias sociaux) pour harceler le militant de Black Lives Matter Darrick Ingram. Plusieurs arrestations erronées , en particulier de Noirs, ont été signalées à la suite de l’utilisation de la technologie. J'ai moi-même testé des systèmes de reconnaissance faciale comme Clearview AI et j'ai personnellement été témoin de leur puissance. En raison de l'utilisation généralisée de la reconnaissance faciale pour arrêter les manifestants, des appels ont commencé à être lancés pour interdire ces technologies, et une vague d'activité législative a déjà commencé à travers le pays sur cette question.
De nombreux militants et manifestants étaient réticents à attendre les lois réglementant l'utilisation des systèmes de reconnaissance faciale et ont pris les choses en main, en proposant des moyens ingénieux de perturber la technologie. Dans le cours est allé et des produits cosmétiques anti-surveillance , et des autocollants personnalisés spéciaux qui ressemblent à un code QR, et des filtres pour les images qui agissent comme un «masque» numérique. Malheureusement, plusieurs de ces méthodes ne fonctionnent pas . D'autres, comme les cosmétiques anti-surveillance, sont chronophages et accrocheurs. Les masques, par contre, sont faciles à enlever et à mettre, et en plus, ils peuvent être portés en public sans trop attirer l'attention sur eux-mêmes.
L'étude de l'Institut national des normes et de la technologie sur l'effet des masques sur le fonctionnement des systèmes de reconnaissance était exhaustive - elle comprenait 89 plates-formes. Mais il y avait aussi des lacunes. Par exemple, les expériences n'ont pas utilisé de vrais masques - les chercheurs ont mis des masques numériques sur les photographies, puis ont chargé les images modifiées pour tester divers systèmes. Il a également été constaté que le succès de la reconnaissance varie considérablement. Certains systèmes étaient capables de tricher 50% du temps, tandis que d'autres seulement 5%. J'ai mis en place une série d'expériences par moi-même pour déterminer quels types de masques sont les meilleurs avec les systèmes de reconnaissance faciale.
Pour les tests, j'ai choisi la fonction de comparaison de visages du programme Face ++ de Megvii. Visage ++ - fournisseur populaire de services de reconnaissance. La plate-forme est accessible via l'API et il ne coûte que 0,002 USD pour comparer quelques photos, ce qui la rend accessible à presque tout le monde. De plus, selon les critiques , Face ++ reconnaît bien les visages masqués. Cela est probablement dû au fait que l'entreprise de fabrication est originaire de Chine, où les masques étaient populaires avant même la pandémie. Le système a probablement été formé sur des photographies de personnes masquées des années avant leur utilisation en Occident.
J'ai commencé par télécharger une photo très ordinaire, dans laquelle mon visage est clairement visible, sur la plateforme Face ++, puis j'en ai ajouté une autre, presque identique, prise exactement avec le même éclairage. Du point de vue du système de reconnaissance faciale, ce sont des conditions presque idéales pour la comparaison.
Comme vous vous en doutez, Face ++ a fait face à la tâche et a établi l'identité avec une précision de 95,071%. Cela m'a donné une idée générale de la performance du système.
Ensuite, j'ai procédé à des tests en utilisant des types de masques courants. Tout d'abord, j'ai essayé de prendre une photo avec un simple masque jetable bleu. Les prises de vue, encore une fois, ont été prises sous le même angle et sous le même éclairage.
Pour lui donner du crédit: le masque n'a pas trop submergé Face ++. Le score de probabilité est tombé à 74,765% - une baisse décente, mais toujours assez bonne étant donné que j'ai couvert plus de la moitié de mon visage. Cela confirme mes suppositions sur l'impact de l'origine de Face ++, ainsi que l'exactitude de toutes les études qui rapportent que les entreprises réagissent déjà aux effets de la pandémie et apprennent à leurs systèmes à reconnaître les visages masqués.
Ensuite, j'ai commencé à essayer différents modèles de masques. J'ai supposé que le masque N95 aggraverait encore plus le résultat, car il couvre une grande surface. Cependant, en réalité, la précision a augmenté à 77,59%.
Quand j'ai mis le masque de mon fils avec des personnages du dessin animé "Paw Patrol", la précision a grimpé à 82,421% - je pense que c'est parce que le masque est trop petit pour moi et que le visage est mieux visible. J'ai également essayé d'utiliser un masque avec une photo agrafée de Tom Cruise devant moi, dans l'espoir de décourager Face ++ en ayant un visage sur l'autre - une technique qui a été utilisée avec succès avant moi. Cela n'a pas fonctionné: le système a correctement identifié où se trouvait mon visage et a trouvé une correspondance avec une probabilité de 79,191%. Eh bien, cela n'a pas l'air si naturel.
Ensuite, j'ai testé une conception anti-surveillance personnalisée créée avec un programme Python qui crée un histogramme de gradient spécialement construit pour confondre les algorithmes de reconnaissance. Rien de tout cela non plus - la précision, au contraire, a également augmenté à 83,864%. À ce stade, je commençais déjà à perdre patience. Face ++ semblait capable de presque tout. Plus j'essayais de me déguiser, plus elle me reconnaissait avec assurance.
Dans une dernière tentative désespérée, j'ai décidé d'essayer une méthode qui semblait trop simple pour fonctionner. J'ai remis mon simple masque jetable bleu, mais cette fois j'ai également ajouté les lunettes noires que je porte habituellement. Lorsque j'ai téléchargé la photo sur la plateforme Face ++, les résultats m'ont stupéfié. La combinaison d'un masque et de lunettes noires réduisait non seulement la précision de la reconnaissance, mais empêchait le programme de détecter réellement un visage sur une photo. En ajoutant simplement des lunettes au masque, je suis devenu invisible pour le système.
Cela semblait trop beau pour être vrai, j'ai donc téléchargé les mêmes photos sur un autre service de reconnaissance faciale populaire, FaceX . L'API FaceX a défini la photo masquée pour qu'elle soit identique avec une probabilité de 70,39% - un résultat comparable à Face ++. Mais avec l'ajout de lunettes noires, la probabilité est tombée à 11,18%, forçant le système à conclure que «ces visages appartiennent à des personnes différentes».
Mais pourquoi l'ajout de lunettes à une photo a-t-il un effet si puissant? Pour répondre à cette question, il n'y a pas de mal à regarder de plus près comment des plates-formes comme Face ++ identifient les gens. De tels systèmes sont généralement formés pour déterminer un ensemble de différents points clés sur le visage: la position des yeux, du nez, de la bouche, de la racine des cheveux, de la forme du visage. Voici les points clés que Face ++ a révélés sur mon visage, photographiés sans masque (ils sont marqués de points bleus):
L'ajout d'un masque réduit la précision de détection, mais pas à zéro. Même le N95 massif permet à Face ++ de distinguer assez clairement les yeux et les sourcils sur mon visage. Basé sur les pommettes, le système peut également compléter les contours de la partie du visage cachée sous le masque avec une précision acceptable. Elle peut même faire des suppositions plus ou moins raisonnables sur l'emplacement de mon nez et de ma bouche sous mon masque.
Mais lorsque des lunettes noires sont portées, le système est privé d'un ensemble riche et précieux de données concernant les yeux et les sourcils. De plus, les bords des lunettes bloquent tellement les pommettes que vous ne pouvez pas extraire beaucoup d'informations de cette zone. Cependant, le masque cache toujours complètement le nez et la bouche et cache la zone du menton. Pris ensemble, le masque et les lunettes semblent enlever un tel volume de données aux systèmes qu'ils perdent la capacité de comparer correctement (et dans certains cas même de reconnaître un visage sur une photo, comme cela s'est produit avec Face ++), et le le résultat est incorrect.
C'est un sérieux succès, d'autant plus que le masque jetable habituel et les lunettes noires presque dès le début de la pandémiereste ma tenue de sortie standard. Si quelqu'un dans la rue me voit sous cette forme, alors il ne clignera pas des yeux - et en même temps, il s'avère que je deviens invisible pour les systèmes de reconnaissance faciale, qui reconnaîtraient calmement mon visage sous un simple masque.
Combien de temps cette technique fonctionnera-t-elle contre les systèmes de reconnaissance faciale? Dur à dire. La reconnaissance faciale en tant que domaine de la connaissance est en constante évolution. Étant donné qu'il est extrêmement utile dans l'enquête sur des crimes graves, en plus de profiler des personnes innocentes, il est probable que tôt ou tard les créateurs d'algorithmes de reconnaissance pourront les adapter à une combinaison de masque et de lunettes. De plus, dans certains lieux publics, les lunettes noires sont interdites et tout le monde ne les porte pas à l'intérieur (les verres transparents ne fonctionnent pas ici - seulement les verres assombris). Il est également impossible de dire avec certitude que la technologie sera en mesure de tromper les algorithmes utilisés par la police et les agences gouvernementales - ils peuvent différer de ceux qui sont du domaine public. Enfin, même sans technologie de reconnaissance, ces institutions ont de nombreuses autres façons de suivre les gens.
Mais pour l'instant, au moins pour les plateformes que j'ai examinées, la combinaison de lunettes de soleil et d'un masque est un moyen simple et étonnamment efficace de maintenir l'anonymat, même face à une surveillance massive.