- À mesure que la reconnaissance faciale se répand dans les aéroports, les magasins et même les photos en ligne, il devient très difficile d’échapper à une vérification d’identité 1:1 contrôlée en ne modifiant que de façon réaliste son apparence
- Depuis la pandémie, les systèmes se sont peut-être mis à davantage s’appuyer sur les caractéristiques du contour des yeux ; masques, lunettes de soleil et maquillage extrême relèvent donc davantage de l’entrave à la détection que d’une véritable transformation du visage
- Dans les scénarios d’identification 1:N comme la vidéosurveillance, une image de mauvaise qualité, l’occultation du visage, le fait d’éviter la prise de face ou le flou de mouvement peuvent perturber l’appariement, mais leur efficacité dépend de l’algorithme, du seuil et des conditions de capture
- Des formes d’évitement actif sont aussi possibles, avec des lunettes spéciales, du maquillage ou des masques faciaux, mais les attaques universelles fonctionnent mal et les méthodes personnalisées demandent davantage d’efforts
- Éviter la reconnaissance faciale devient de plus en plus difficile à mesure que la technologie se diffuse et que les visages s’exposent en ligne ; à long terme, la vraie défense relève davantage de la régulation des données biométriques que de la modification du visage
Peut-on modifier son visage pour éviter la reconnaissance faciale ?
- Avec seulement des modèles d’IA et des caméras, des données biométriques peuvent être collectées, et l’on peut se retrouver exposé à la reconnaissance faciale dans des situations ordinaires comme la sécurité aéroportuaire ou l’accès à un magasin
- La question centrale est de savoir s’il est possible de masquer des traits du visage ou de modifier fortement son apparence pour tromper les algorithmes d’IA
- Aujourd’hui, la méthode d’évitement la plus sûre reste d’éviter les caméras, mais cela pourrait devenir plus difficile à mesure que la reconnaissance faciale sera déployée plus largement
- Des spécialistes de la vie privée estiment que nous sommes peut-être déjà en position défavorable en matière de protection des données biométriques, et qu’à long terme une réglementation fédérale pourrait constituer un véritable moyen de défense
Les systèmes récents résistent bien aux changements simples du visage
- Cynthia Rudin estime qu’il est difficile de modifier son visage de manière réaliste au point de tromper une reconnaissance faciale de pointe
- Pendant la pandémie, beaucoup de personnes ont couvert leur nez et leur bouche avec des masques, ce qui a peut-être conduit les systèmes à s’appuyer davantage sur la forme des yeux
- On ne voit pas clairement comment modifier de façon réaliste la forme des yeux pour tromper le système
- Les lunettes de soleil, les masques et le maquillage extrême peuvent compliquer la détection du visage, mais cela relève davantage de l’occultation que d’une modification du visage lui-même
- Même si des changements extrêmes comme la chirurgie esthétique trompent un système de reconnaissance, une photo du visage associée à un nom publiée sur Internet peut permettre à une reconnaissance faciale fondée sur la recherche de réidentifier la personne
- Par exemple, si un ami vous identifie sur les réseaux sociaux ou si une vidéo de conférence est mise en ligne
- Si le nouveau visage ne correspond plus au permis de conduire ou au passeport, voyager peut devenir compliqué
Différence entre vérification 1:1 et identification 1:N
- Walter Scheirer estime que la difficulté d’éviter la reconnaissance faciale dépend de la manière dont l’algorithme est utilisé
- En biométrie humaine, on rencontre souvent deux modes d’appariement : la vérification 1:1 et l’identification 1:N
- En 1:1, on vérifie si l’identité revendiquée par la personne devant la caméra correspond à la photo enregistrée dans la base de données
- Cette méthode est utilisée dans des contextes comme l’authentification sur des ordinateurs hautement sécurisés, les enquêtes des forces de l’ordre ou l’embarquement sur des vols internationaux à l’aéroport
- En 1:N, la photo d’un sujet inconnu est comparée à un ensemble de photos enregistrées de personnes d’intérêt
- Cette méthode est souvent utilisée dans les environnements de surveillance vidéo, notamment par les forces de l’ordre et les services de renseignement publics
- Dans un environnement 1:1 contrôlé, l’évitement est très difficile
- Si la prise de vue se fait de face, avec une expression neutre, un bon éclairage et un arrière-plan contrôlé, les tentatives basiques comme le maquillage, l’ajout ou le retrait d’une barbe, ou le changement de coiffure sont inefficaces
- Les systèmes récents de reconnaissance faciale fondés sur des réseaux neuronaux artificiels obtiennent une grande précision d’appariement malgré des variations importantes d’apparence chez une même personne
- Des recherches récentes sur l’effet de la chirurgie esthétique indiquent que des modifications extrêmes et peu esthétiques de la structure du visage peuvent avoir un certain effet, mais que les interventions esthétiques courantes ont moins d’impact qu’on pourrait le penser
En contexte de surveillance, dégrader la qualité de l’image est une approche réaliste
- L’identification 1:N en environnement de surveillance non contrôlé laisse relativement plus de marge d’évitement, même sans intervention chirurgicale
- Même de bons réseaux neuronaux ont du mal avec des photos de mauvaise qualité, où il manque des pixels riches en information sur le visage, et cela devient plus difficile encore quand la liste de candidats est longue
- Les méthodes d’évitement consistent à empêcher l’algorithme d’obtenir de bons pixels du visage
- Dans des situations peu suspectes, on peut masquer une partie du visage avec une écharpe en hiver ou des lunettes de soleil par temps clair
- Un chapeau à large bord peut cacher le front et les cheveux tout en projetant une ombre sur le visage, ce qui gêne l’analyse
- Couvrir son visage avec la main peut aussi aider
- Regarder vers le bas en se déplaçant empêche les caméras environnantes d’obtenir facilement une bonne image de face
- Se déplacer rapidement, par exemple en faisant du jogging ou du vélo, peut introduire du flou de mouvement dans les images capturées
- Le conseil le plus pratique reste de savoir où la reconnaissance faciale est déployée et d’éviter ces zones
- La durée de validité de ce conseil dépendra de l’ampleur future de la diffusion de la reconnaissance faciale
Attaques adversariales et modifications d’apparence personnalisées
- Xiaoming Liu définit « l’évitement de la reconnaissance faciale » comme une situation dans laquelle un système de reconnaissance faciale ne parvient pas à reconnaître le visage d’un sujet capturé par la caméra
- Parmi les moyens de faire activement échouer un système de reconnaissance faciale, on trouve les attaques adversariales physiques
- Les modèles d’IA peuvent échouer à cause de petites modifications des données d’entrée, et les systèmes de reconnaissance faciale n’y échappent pas
- Le point clé consiste à trouver de petites modifications précises capables de faire échouer le système
- Il existe des recherches, comme le cas des lunettes spéciales de la CMU, montrant qu’on peut faire échouer un système de reconnaissance faciale à l’aide de lunettes
- De manière similaire, on peut concevoir des écharpes, des masques faciaux ou des moustaches dans ce but
- Il existe aussi des approches visant à modifier l’apparence pour être pris pour quelqu’un d’autre
- La méthode la plus courante est le maquillage
- L’emplacement et l’intensité du maquillage nécessaire varient selon les individus
- Les personnes au visage plus commun et ressemblant davantage à d’autres peuvent être mal identifiées avec des changements de maquillage relativement modestes
- Les personnes au visage très distinctif ont besoin de changements beaucoup plus importants
- On peut même imaginer une application smartphone qui observe le visage via la caméra et indique de manière itérative où se maquiller et avec quelles couleurs afin d’induire en erreur un système de reconnaissance faciale avec un minimum de maquillage
- Des masques faciaux coûteux peuvent aussi être utilisés, mais c’est une approche plus fréquente dans les films hollywoodiens
- La méthode 1 est plus simple pour l’utilisateur, mais les attaques adversariales universelles qui fonctionnent pour tout le monde sont peu fiables
- La méthode 2 est plus personnalisée et peut mieux fonctionner, mais elle demande d’autant plus d’efforts
Embeddings et seuils déterminent la difficulté de l’évitement
- Kevin W. Bowyer estime que la réponse dépend de l’algorithme de correspondance faciale et du seuil utilisé avec cet algorithme
- La reconnaissance faciale consiste à comparer deux images pour déterminer si elles se ressemblent assez pour être considérées comme représentant la même personne, ou assez peu pour être jugées différentes
- Chaque algorithme de reconnaissance faciale calcule à partir de l’image un vecteur de caractéristiques, c’est-à-dire un embedding, puis compare la similarité entre deux vecteurs de caractéristiques
- Une image de visage peut être réduite à une liste de 512 nombres
- La similarité entre deux images peut être exprimée sur une échelle comme 0~100 ou -1~+1
- 100 ou +1 n’apparaissent qu’en comparant deux copies de la même image, ce qui est rare en situation réelle
- En supposant qu’un algorithme récent utilise une plage de -1~+1, les paires d’images de personnes différentes peuvent se regrouper autour d’une similarité proche de 0,0 ou légèrement supérieure
- Les paires d’images variées d’une même personne peuvent se regrouper autour d’une similarité proche de 0,8 ou légèrement supérieure
- Si les conditions de prise de vue sont très contrôlées, comme pour une photo de permis de conduire, la similarité moyenne entre deux images de la même personne augmente
- Si les conditions le sont moins, comme sur une image vidéo prise à l’entrée d’un magasin, la similarité moyenne diminue
- Si le seuil est fixé à 0,7, le système juge qu’il s’agit de personnes différentes quand la similarité est inférieure à 0,7, et de la même personne quand elle est supérieure ou égale à 0,7
- La question « de combien faut-il changer son apparence ? » devient alors : « quelle est la meilleure manière de faire baisser la valeur de similarité quand une nouvelle image est comparée à une image existante ? »
- Parmi les moyens possibles : de grosses lunettes de soleil, un changement de coiffure, une expression exagérée, le fait de ne pas regarder la caméra de face, une prise ou une perte de poids, ou encore le maquillage
- Aucune méthode ne peut garantir l’absence d’appariement avec une photo existante
- On peut ne pas savoir quelle photo existante sera utilisée pour la comparaison
- On peut aussi ne pas connaître l’algorithme ni le seuil employés
- Si l’on connaissait ces trois éléments, on pourrait tester l’approche la plus efficace
1 commentaires
Avis sur Hacker News
J’ai eu une pensée similaire dans un aéroport international : on m’a laissé passer sans vérifier ma carte d’embarquement ni mon passeport, puis, au moment de franchir la porte, on m’a indiqué mon numéro de siège.
Au Mexique, un employé de l’aéroport qui vendait des timeshares m’a attrapé le bras de façon très agressive et m’empêchait de partir. Quand je l’ai signalé, l’aéroport m’a aussitôt montré une vidéo de tous mes déplacements dans l’aéroport et a identifié l’employé.
Comme le dit l’article, je pense que ce n’est qu’une question de temps avant que ce type de système soit partout. Dans les pôles de transport public, on s’y habitue déjà presque sans opposition, et les collectivités locales ou des entreprises privées vont bientôt l’adopter aussi ; il y a de fortes chances qu’on entende alors « on le fait déjà dans les aéroports », et qu’on se demande pourquoi tant d’agitation pour une épicerie ou un trottoir.
Quelqu’un qui ne prend l’avion qu’une ou deux fois dans sa vie sera surtout occupé à gérer une situation confuse et stressante, et aura du mal à remarquer que la reconnaissance faciale est quelque chose de nouveau, ou que ce n’est pas simplement une mesure spéciale post-11 Septembre. La majorité des Américains ne sont jamais allés à l’étranger ou n’ont visité qu’un seul pays, souvent le Mexique ou le Canada, où l’on se rend fréquemment en voiture ou à pied.
Si cela se produisait dans un cadre familier du quotidien, près de chez soi, il y aurait moins de stress et davantage de temps pour réfléchir ; les gens s’arrêteraient au moins pour demander ce qui se passe, à mon avis.
Ayant travaillé sur l’assemblage rapide de montages vidéo à partir d’une vidéothèque en utilisant des points de repère dans une base de données, je trouve le problème assez intéressant. Je me demande si la vidéo finale était un montage à la façon d’un film d’espionnage, enchaînant les meilleurs angles, ou un affichage multicam où plusieurs caméras étaient visibles en même temps à partir du moment où le vol d’arrivée avait été identifié ; et si le système dessinait une boîte autour de la personne comme s’il « savait ».
Ça donne envie de savoir à quel point ces systèmes de reconnaissance faciale sont réellement dystopiques.
Il n’y avait aucune reconnaissance faciale, mais depuis cette expérience, je suis plutôt favorable à la vidéosurveillance.
Mais dans une recherche publique à l’échelle nationale, le taux de faux positifs est trop élevé pour que cela fonctionne correctement. Dès qu’on sort du contexte local/temporel, comme un incident à un lieu et à une heure connus, et surtout dans un pays comme les États-Unis où l’usage de la voiture individuelle est très répandu et où l’on laisse peu de traces, ce type de système n’est souvent pas très utile en pratique.
Les citoyens américains peuvent refuser d’être photographiés à l’entrée du pays, mais qui va s’infliger cette corvée ? Et comme ça, la machine continue de tourner.
Le nouveau roman de Helen Phillips, Hum, traite exactement de cette question.
Le principe est le suivant : une femme qui a perdu son emploi et se trouve en difficulté financière participe à une étude dans laquelle un robot haut de gamme modifie chirurgicalement son visage de façon très subtile, afin qu’elle serve de sujet de test pour un logiciel de reconnaissance faciale de pointe.
Son mari est réparateur en petits boulots, principalement dans la lutte antiparasitaire, avec des revenus très faibles ; ils ont deux jeunes enfants, et elle participe parce qu’elle craint l’expulsion. L’étude verse d’avance une somme assez importante pour que la famille puisse vivre confortablement pendant 10 mois sans autre revenu.
Les problèmes apparaissent vite : même si son apparence n’a changé que très légèrement, sa famille et ses connaissances sont toutes déstabilisées. Elle semble identique à avant, mais quelque chose cloche. L’étude consiste à créer ce type de visage pour voir comment les images de surveillance traitent les visages situés dans la vallée de l’étrange.
Cette présentation correspond au tout début du livre, donc ce n’est pas un spoiler ; ensuite, l’histoire explose dans des directions intéressantes et inattendues. C’est de la SF, le sixième livre d’une romancière reconnue par la critique et primée, et l’écriture est magnifique.
Les 19 premières pages sont lisibles ici : https://www.amazon.com/Hum-Novel-Helen-Phillips/dp/166800883...
La conclusion me fait penser à Lao Rongzhi, en Chine. Elle était une tueuse en série avec son compagnon Fa Ziying[0], et tous deux parcouraient le pays en commettant extorsions et meurtres
Fa a été arrêté en 1999 après une confrontation avec la police, mais Lao a vécu en cavale pendant 20 ans, allant jusqu’à subir une opération de chirurgie esthétique pour modifier son visage. Au point que la plupart des gens ne la reconnaissaient pas
Mais pendant ces 20 ans, les logiciels de reconnaissance faciale ont progressé de façon spectaculaire, et une caméra de centre commercial l’a reconnue puis l’a associée à la base nationale de données des criminels. Au début, même la police a cru à une erreur, mais des preuves ADN ont confirmé qu’il s’agissait bien de la même personne, et elle a finalement été exécutée
À notre époque, je pense que personne ne peut vraiment se cacher de la reconnaissance faciale
[0] https://www.youtube.com/watch?v=I7D3mOHsVhg
« Le 9 septembre 2021, Lao a été condamnée à mort par le tribunal populaire intermédiaire de Nanchang pour homicide volontaire, enlèvement et vol qualifié. Elle a été privée à vie de ses droits politiques, et tous ses biens personnels ont également été confisqués. Lao a fait appel du jugement, et le second procès s’est tenu le 18 août 2022 devant la Cour populaire supérieure de la province du Jiangxi. Lao a reconnu avoir été la complice de Fa, mais a affirmé avoir subi des violences physiques et sexuelles de sa part tout au long de leur relation, et avoir agi par peur de perdre la vie. Le 30 novembre de la même année, la cour a confirmé la peine de mort. Le 18 décembre 2023, avec l’approbation de la Cour populaire suprême, le tribunal populaire intermédiaire de Nanchang a procédé à l’exécution de Lao Rongzhi. »
https://en.m.wikipedia.org/wiki/Fa_Ziying_and_Lao_Rongzhi
Le score réel était peut-être plus élevé. Malgré tout, la reconnaissance faciale actuelle semble fournir pour les visages une sorte de « valeur de hachage » cohérente, mais avec un nombre de chiffres ou une quantité d’information limités. Si l’on sait en plus que quelqu’un est passager du vol X, on peut deviner de qui il s’agit avec une très forte probabilité ; mais à grande échelle, cela se généralise mal, sauf à rechercher beaucoup de personnes précises tout en acceptant les faux positifs
Les autorités aiment dire que l’ADN et la reconnaissance faciale ont permis d’arrêter quelqu’un, parce que cela donne l’impression qu’elles sont omniscientes et omnipotentes. Des valeurs comme le « 97,3 % » ci-dessus peuvent aussi être fausses ou dénuées de sens. Bien sûr, ces technologies permettent parfois d’arrêter des gens, mais elles restent limitées et coûteuses
Si l’objectif est de publier des photos de soi préparées de façon à ce que la reconnaissance faciale ne vous identifie pas, il n’est en réalité pas nécessaire de modifier beaucoup son visage. Voir https://sandlab.cs.uchicago.edu/fawkes/
Des images préparées de manière adversariale peuvent encore sembler tout à fait vous ressembler à l’œil humain, tandis que les données qui cassent la reconnaissance faciale sont encodées d’une manière qui relève presque de la stéganographie pour la perception humaine ordinaire
Dire qu’« il est bien plus facile de demander au gouvernement de faire des lois pour nous protéger… » me paraît un peu naïf. Les données existent déjà en grande partie, et il suffirait qu’un autre gouvernement arrive au pouvoir pour que ces protections soient neutralisées ; il est donc trop tard
C’est pourquoi les Allemands et les Européens se battent depuis longtemps, avec une certaine vigueur, contre la collecte de données et pour mettre en place des garde-fous, et ils disposent probablement de certaines des politiques et réglementations les plus sophistiquées
Mais avec le temps, il devient presque impossible de maintenir la collecte de données au minimum. Au début apparaissent de petites exceptions justifiées en elles-mêmes, puis le nombre d’acteurs augmente, cela se normalise, et au final il ne reste plus de garde-fous
Si nous arrêtons maintenant, ou bientôt, nous pouvons tuer le problème dans l’œuf. Même pour nous, il n’est probablement pas trop tard. La reconnaissance des visages à partir de la forme du crâne reste préoccupante, mais seulement si des acteurs malveillants disposent de vidéos récentes de nous. Sinon, ils ne peuvent enquêter que sur des activités passées
Pour d’autres types de données, il existe davantage de contraintes qui en limitent l’utilité à long terme. À condition de ne pas adhérer au fantasme selon lequel « on ne peut pas remettre le génie dans la bouteille »
Je me suis souvent demandé ce qui se passerait si l’on se baladait avec, sur le col, des LED infrarouges très lumineuses, presque invisibles à l’œil humain mais captées par la plupart des puces CMOS, avec une longueur d’onde assez basse pour éblouir les caméras, et les faire clignoter à 30 Hz ou 60 Hz.
J’y pense à chaque fois que je vais faire les courses. Je n’aime pas être surveillé, et je n’ai rien à cacher, mais je déteste le côté persuasif et oppressant de tout cela. Je n’ai jamais volé de ma vie. Être suivi par une personne me dérangerait encore moins, mais je n’aime pas l’analyse algorithmique, bien plus efficace, effrayante et intrusive.
Le résultat d’une telle expérience serait probablement qu’on me demande de partir, ou une conversation gênante avec la police. J’aimerais tout de même que quelqu’un de plus courageux que moi essaie. Si l’on peut mettre des lumières sur des vêtements, pourquoi ne pas les faire en infrarouge ?
À quel point faut-il changer son visage pour échapper à la reconnaissance faciale ? La réponse taboue, inspirée de W.O.P.R., est de ne pas jouer.
Évitez les zones équipées de caméras quand c’est possible. Cela a un effet sur les revenus.
Avec les entreprises ou les partenaires, passez par Zoom ou Jitsi quand vous le pouvez.
Soyez autosuffisant. Ne dépensez pas d’argent quand ce n’est pas nécessaire, et faites-vous livrer des produits alimentaires sains. Cela réduit les recettes fiscales.
Travaillez depuis chez vous si votre entreprise l’autorise. Vivez aussi près que possible du mode hors réseau.
Pour les courses inévitables, embauchez quelqu’un d’autre. Donnez du liquide au gamin du voisin pour qu’il aille en ville à votre place.
Je sais bien que ce discours ne plaira à personne, mais je suis comme ça.
Dans l’ensemble, l’article n’est pas mauvais, mais les conseils pratiques n’ont pas beaucoup changé depuis la dernière fois que j’ai travaillé sur ce sujet, il y a plus de dix ans.
En gros, ne regardez pas vers le haut, couvrez autant que possible votre visage, mélangez les motifs pour qu’il soit difficile à l’algorithme de vous associer à la même personne au fil du temps, connaissez l’emplacement des caméras et la façon de les éviter, et si vous devez entrer dans une zone surveillée connue, sortez-en aussi vite et discrètement que possible. Si vous êtes particulièrement paranoïaque, mieux vaut aussi changer de tenue entre deux zones surveillées.
En revanche, il vaut mieux renoncer dès maintenant à l’espoir de tromper la surveillance gouvernementale. Si un acteur étatique compétent vise une personne précise, il l’a probablement déjà prise dans ses filets. Il dispose déjà de suffisamment d’informations pour faire une correspondance faciale même à partir d’une vieille vidéo analogique noir et blanc floue d’une caméra de supermarché.
Sans chirurgie esthétique significative ni prothèses, vous ne gagnerez pas ; et même avec cela, s’ils le veulent vraiment, ils prélèveront des empreintes partielles sur des objets que vous avez touchés pour vous identifier.
La première règle de la sécurité, c’est que si quelqu’un veut vraiment ce que vous avez, vous ne pouvez pas l’en empêcher. Il faut planifier en gardant cela à l’esprit. C’est pourquoi je ne vais pas aux manifestations, et j’évite les événements où la reconnaissance faciale est déployée. À cause de mon ancien travail, je figure déjà plusieurs fois dans ces jeux de données, avec des références de haute qualité, et c’est en plus actualisé via les photos de passeport ou l’accès Global Entry.
Le choix le plus sûr est de ne pas me mettre dans cette situation dès le départ, et c’est probablement aussi ce qu’il y a de mieux pour la plupart des gens.
Dans les discussions plus intelligentes, le point essentiel à propos des données biométriques est que « une fois compromises, elles le sont pour toujours ». La biométrie n’est pas un mot de passe, elle ressemble plutôt à une clé publique ou à un nom d’utilisateur.
Heureusement, cela ne s’applique pas tel quel aux gouvernements. Même si le gouvernement actuel est compromis, on peut, par le processus démocratique, le remplacer par un gouvernement qui ne l’est plus.
On peut donc dire qu’il est plus facile de changer de gouvernement que de changer de visage. C’est là qu’il faut consacrer ses efforts.
Dès qu’on les applique à une population immense, comme l’ensemble des États-Unis, en ignorant le contexte temporel et géographique, des collisions apparaissent. C’est particulièrement vrai si l’on tient compte d’échantillons partiels, qu’ils soient dus à des erreurs de capteur ou à autre chose.
Des innocents ont déjà fini en prison parce que des tribunaux ont ignoré le fait qu’une correspondance biométrique n’est jamais qu’une probabilité de correspondance, pas une correspondance garantie.
Si porter des lunettes de soleil et mettre quelque chose sur son visage, comme un masque ou un maquillage exagéré, rend la détection faciale difficile, mais que vous dites que c’est « tricher » parce que cela ne change pas le visage mais le cache, alors portez simplement des lunettes de soleil et un masque. Qui se soucie de savoir si c’est de la triche ?