Une femme du Tennessee arrêtée à tort pour des accusations criminelles dans le Dakota du Nord à cause d’une erreur de reconnaissance faciale par IA

• Angela Lipps (50 ans), originaire du Tennessee, a été arrêtée comme suspecte dans une affaire de fraude bancaire dans le Dakota du Nord, un État qu’elle n’avait jamais visité, à cause d’une technologie de reconnaissance faciale par IA, et détenue pendant plus de 5 mois
• Le système Clearview AI a identifié à tort une personne ressemblante comme étant Lipps, et la police de Fargo s’est appuyée sur cette information pour obtenir un mandat d’arrêt
• Par la suite, des relevés bancaires montrant que Lipps se trouvait dans le Tennessee au moment des faits ont été confirmés, les poursuites ont été rejetées pour absence de charges et elle a été libérée
• La police de Fargo a reconnu des erreurs dans la transmission des informations issues de l’IA et l’absence de remise des vidéos de surveillance, et a annoncé un renforcement de ses procédures d’utilisation des données issues de l’IA
• Cette affaire est considérée comme un cas mettant en lumière la fiabilité des technologies d’enquête par IA et la nécessité de procédures de vérification humaine

---

Affaire d’arrestation erronée d’une femme du Tennessee à cause d’une erreur de reconnaissance faciale par IA

• Angela Lipps (50 ans), résidente du Tennessee, a été arrêtée comme suspecte dans une affaire de fraude bancaire dans l’État du Dakota du Nord, où elle n’était jamais allée, à cause d’une technologie de reconnaissance faciale par IA, et détenue pendant plus de 5 mois
  • La police de Fargo a reconnu qu’il y avait eu « quelques erreurs » dans le traitement de l’affaire, sans toutefois présenter d’excuses officielles
  • L’arrestation a eu lieu le 14 juillet au domicile de Lipps dans le Tennessee, alors qu’un mandat d’arrêt délivré quelques semaines plus tôt à Fargo existait déjà

• Déroulement de l’affaire

  • Dans le cadre de l’enquête sur une affaire de fraude bancaire survenue dans la région de Fargo, la police a utilisé une « technologie de reconnaissance faciale d’une agence partenaire » pour identifier la suspecte
  • La police de West Fargo a utilisé le système Clearview AI, et ce système a inclus dans son rapport une personne identifiée comme ressemblant à Lipps
  • La police de Fargo a considéré Lipps comme suspecte sur la base de cette information et a transmis un rapport au parquet du comté de Cass
  • La police de Fargo a ensuite indiqué que l’utilisation du système d’IA de West Fargo n’avait pas été signalée à la hiérarchie et qu’elle est désormais interdite

• Détention et libération

  • Le 1er juillet, un juge du Dakota du Nord a délivré un mandat d’arrêt autorisant une extradition à l’échelle nationale
  • Lipps a été arrêtée le 14 juillet, incarcérée plus de 3 mois dans une prison du Tennessee, puis extradée vers le Dakota du Nord
  • Après son transfert, son avocat a obtenu des relevés bancaires montrant que Lipps se trouvait dans le Tennessee au moment de l’infraction
  • Le 23 décembre, après concertation entre la police de Fargo, le parquet de l’État et un juge, il a été décidé de rejeter les poursuites pour absence de charges, et Lipps a été libérée le 24 décembre
  • Ses avocats ont critiqué le fait que « malgré l’existence de preuves évidentes l’innocentant, la détention s’est prolongée inutilement pendant longtemps »

• Résultats de l’enquête interne et réponse de la police de Fargo

  • La police a désigné comme principales erreurs une confusion dans la transmission des informations issues du système d’IA et la non-remise des vidéos de surveillance
  • La police de Fargo a indiqué qu’à l’avenir elle n’utiliserait plus les données d’IA de West Fargo et qu’elle coopérerait avec les centres d’information de l’État et fédéraux
  • Les procédures ont été renforcées afin que tous les résultats de reconnaissance faciale soient signalés chaque mois au directeur des enquêtes
  • Des lacunes dans le système de notification concernant les personnes arrêtées entre le comté de Cass et le parquet de l’État ont également été pointées, et des mesures correctives sont à l’étude
  • La police examine si des sanctions disciplinaires doivent être prises à l’encontre des enquêteurs concernés et a déclaré que « personne ne souhaite des arrestations inutiles »

• Victime et réponse juridique

  • Lipps, grand-mère de trois enfants et de cinq petits-enfants, affirme n’être jamais allée dans le Dakota du Nord
  • Pendant sa détention, elle a écrit sur sa page GoFundMe avoir ressenti « peur, fatigue et honte »
  • Ses avocats ont critiqué le fait que « la reconnaissance faciale par IA a été utilisée comme un raccourci remplaçant l’enquête de base » et examinent la possibilité d’une action en justice pour atteinte aux droits civiques

• Critiques à l’égard des technologies d’enquête par IA

  • Les forces de l’ordre à travers les États-Unis adoptent rapidement les technologies d’IA, mais certains soulignent que les preuves de leur efficacité restent insuffisantes
  • Ian Adams, professeur à l’université de Caroline du Sud, estime que « la plupart des erreurs liées à l’IA sont des problèmes combinant technologie et facteurs humains »
  • Il a insisté sur le fait que « les enquêteurs ne doivent pas faire aveuglément confiance aux résultats des algorithmes et doivent impérativement passer par une procédure de vérification humaine »
  • Des cas d’erreurs d’identification par IA se sont déjà produits auparavant, notamment lorsqu’un système de sécurité basé sur l’IA a confondu un sachet de chips vide avec une arme et provoqué l’arrestation d’un étudiant

• État actuel de l’affaire

  • La police de Fargo a déclaré que l’affaire « est toujours en cours et que des poursuites pourraient être relancées en fonction des résultats d’enquête supplémentaires »
  • Les avocats de Lipps ont salué les promesses d’amélioration futures de la police, tout en estimant que « l’absence de procédures d’enquête élémentaires reste problématique »

[GN⁺]

Commentaires sur Hacker News

• Indépendamment de la question de l’IA, je ne pose qu’une seule question — qui a réellement enquêté ?
  Personne n’a vérifié son IP, les témoins, ni même le fait qu’il y ait eu un signalement par IA. Ils ont simplement regardé des données et conclu : « on l’a eue ».
  Le plus terrible, c’est la partie où elle dit : « Je ne remettrai plus jamais les pieds dans le North Dakota. » La leçon ne devrait pas être « n’allons pas dans cet État », mais plutôt qu’il faut remettre en cause l’ensemble du système.
  Il y a déjà eu des cas comme l’arrestation erronée liée à Apple ou cet homme emmené devant sa famille. Si on ne se bat pas, on finira tous dans un monde où l’on est « présumé coupable puis forcé de prouver son innocence »

  • Le problème du système judiciaire, c’est qu’il n’a aucune incitation à chercher la vérité.
    J’ai moi-même appelé le 911 autrefois, et on a essayé de me faire passer pour l’auteur d’un faux signalement. Les images de la bodycam contredisaient clairement cette version, mais les responsables ne s’intéressaient qu’à « poursuivre ». Heureusement, le jury a pris la bonne décision
  • Bien sûr qu’il fallait enquêter. Mais le problème plus profond, c’est que les gens croient à l’illusion d’une IA infaillible.
    Même quand on dit « il faut vérifier les résultats », certains, y compris sur HN, soutiennent qu’« il n’y en a pas besoin »
  • On a déjà appris cette leçon avec l’ADN et les empreintes digitales. Incarcérer quelqu’un parce que “l’ordinateur dit que ça correspond” est dangereux.
    Ces systèmes ne devraient servir qu’à fournir des pistes. Mais aujourd’hui, ils sont utilisés comme dans les séries, où « l’IA dit la vérité ».
    Les gens veulent juste retenir la leçon simple : « n’allons plus jamais dans le North Dakota ». Mais le vrai problème, c’est le taux de faux positifs et les limites structurelles du système judiciaire
  • Il y a un point que tu oublies. Les avocats ont dit que « le traumatisme, la perte de liberté et l’atteinte à la réputation ne se réparent pas facilement ».
    C’est clairement une déclaration préparant une action en dommages-intérêts. Elle veut probablement juste retrouver une vie normale. Dire « bats-toi contre le système » est, en pratique, bien trop difficile
  • Je ne suis pas juriste, mais aux États-Unis, les interrogatoires en détention relèvent des droits Miranda.
    Mieux vaudrait peut-être éviter ce genre de problème avec les logiciels de Musk ou Altman

• Le fournisseur utilisé était Clearview AI. D’après sa politique officielle, sauf dans quelques États qui l’y obligent par la loi, il est impossible de demander la suppression des données.
  Du coup, je m’intéresse soudain à la S1422 Biometric Privacy Act de l’État de New York

  • Pour les résidents de l’Illinois, la politique prévoit apparemment la collecte et la conservation obligatoires des données biométriques. Cela dit, les forces de l’ordre bénéficieront probablement d’exceptions via mandat administratif ou autres procédures
  • Il y a aussi, à ce sujet, la plainte pénale de noyb contre la reconnaissance faciale
  • Pour demander la suppression, il faut soumettre une photo de soi, et je n’ai pas envie de faire confiance à une entreprise liée à Peter Thiel
  • Au final, pour l’instant, la seule option semble être de répéter les demandes de suppression. Et même si les données sont supprimées, elles risquent de réapparaître un jour dans la base

• Rien que ce mois-ci, j’ai vu plusieurs cas d’arrestations erronées dues à la reconnaissance faciale. On en est désormais à un niveau de fréquence inquiétant.
  Aux États-Unis, avec 350 millions d’habitants et donc beaucoup de sosies, dès qu’une IA demande « qui ressemble à cette personne dans la vidéo ? », on crée un système où l’on peut être arrêté simplement parce qu’on ressemble à quelqu’un.
  Une ressemblance peut éventuellement relever du soupçon raisonnable, mais c’est insuffisant comme motif probable d’arrestation (Probable Cause). Il faut la combiner avec d’autres éléments de preuve.
  Le problème n’est pas l’IA en soi, mais la manière de déduire qu’il s’agit de la même personne sous prétexte qu’il y a ressemblance

• Le plus choquant, c’est que le juge a approuvé le mandat sur la seule base du résultat de correspondance de Clearview.
  Les juges et la procédure de mandat sont censés empêcher les abus policiers, mais même cela ne fonctionne plus

• Une discussion précédente est ici

• Cette affaire relève d’une couverture médiatique exagérée de l’IA.
  Le système utilisé était FaceSketchID, qui existe depuis 2014, et il est distinct de l’IA récente. Le système ne fait que proposer des candidats ; l’enquête et les poursuites relèvent des humains.
  La vraie question, c’est pourquoi elle a été détenue pendant quatre mois. En général, l’extradition doit se faire sous 30 jours ; était-ce peut-être parce qu’elle était en liberté conditionnelle ?

  • Aux États-Unis, même quand les détenteurs du pouvoir violent la procédure, il n’y a presque jamais de sanction réelle. Au final, on indemnise plus tard avec l’argent du contribuable, et c’est tout
  • Si l’on conteste la procédure d’extradition, la durée de détention peut être prolongée de 30 jours jusqu’à un maximum de 90 jours. En plus, la question d’une erreur d’identité ne peut même pas être contestée lors de l’audience d’extradition
  • Elle a probablement été détenue séparément pour violation de sa liberté conditionnelle
  • L’enquête doit être menée par des humains, mais le vrai problème, c’est l’erreur pleine d’assurance de l’IA, qui paralyse le jugement humain. Les gens se laissent facilement convaincre par la certitude

• J’ai trouvé marquante la citation de l’article : « Ce n’est pas un problème de technologie, c’est un problème de technologie et d’humains »

  • En ce moment, la tournure « It’s not just X, it’s X and Y » me donne l’impression d’être un tic de rédaction produit par l’IA. Si l’article a été écrit par une IA, cette phrase pourrait même être une citation hallucinée

• Je ne pensais pas que le seuil d’émission d’un mandat d’arrêt était aussi bas. Surtout au point de faire venir quelqu’un d’un autre État

  • C’est un cas typique de biais du taux de base (Base Rate Fallacy)
    Même avec un système précis à 99,999 %, si l’on examine 300 millions de personnes, on obtient 3 000 faux positifs. Et la plupart concerneront des innocents.
    C’est pourquoi la surveillance automatisée à grande échelle est dangereuse

• Ce qui fait vraiment peur, ce n’est pas l’erreur de l’IA, mais le fait que personne n’a vérifié le résultat.
  On enquête sur des signalements anonymes, mais on croit tel quel à une correspondance fournie par l’IA. En fin de compte, on a créé un outil qui permet de supprimer l’enquête