Une femme innocente détenue pendant des mois à cause d’une erreur de reconnaissance faciale par IA

• En raison du dysfonctionnement d’un système de reconnaissance faciale par IA, une femme a été arrêtée et détenue pendant plusieurs mois alors qu’elle n’avait aucun lien avec le crime
• L’incident a été causé par une mauvaise identification par l’IA lors de l’enquête sur une affaire de fraude dans le Dakota du Nord
• La victime était une grand-mère innocente, dont l’absence totale de lien avec le crime n’a été établie que tardivement
• Ce cas met en lumière les problèmes de fiabilité et de responsabilité des technologies d’enquête fondées sur l’IA
• Il relance la question de la nécessité de renforcer la vérification de la dépendance des forces de l’ordre à l’IA

---

Affaire de détention injustifiée due à une erreur d’identification par IA

• Dans le Dakota du Nord, une femme a été arrêtée après avoir été désignée à tort comme suspecte en raison d’une erreur de la technologie de reconnaissance faciale par IA
• Cette femme n’avait aucun lien avec l’affaire de fraude et est restée détenue pendant plusieurs mois avant que son innocence ne soit reconnue
• L’affaire met en évidence les limites de précision des technologies d’IA et les questions de responsabilité juridique

Erreur technique et répercussions sociales

• L’erreur de détection de l’algorithme de reconnaissance faciale est citée comme un cas emblématique où une atteinte aux droits humains a résulté d’un faux positif
• Le fait que les forces de l’ordre aient fait confiance aux résultats de l’analyse par IA sans vérification est pointé du doigt comme un problème majeur
• Cette affaire a nourri les débats sur la nécessité de garantir l’équité et la transparence des technologies d’IA

Nécessité d’une réponse institutionnelle

• Des experts demandent un renforcement des critères d’usage et des procédures de vérification des outils d’enquête fondés sur l’IA
• Ils soulignent l’urgence de mettre en place des dispositifs de prévention contre les erreurs judiciaires causées par l’intelligence artificielle
• À l’avenir, les questions de responsabilité juridique et d’indemnisation des victimes pourraient devenir des enjeux majeurs

[GN⁺]

Réactions sur Hacker News

• Partage du lien vers l’article original (archive.ph)

• Selon les documents judiciaires, la police a vérifié humainement le résultat de reconnaissance faciale fourni par l’IA, puis a quand même poursuivi l’arrestation à tort
  L’IA n’avait signalé qu’une « correspondance possible », mais les enquêteurs humains l’ont traitée comme une preuve certaine
  Au final, le fait qu’elle ait été détenue pendant 5 mois sans même être interrogée relève de la négligence du système de justice pénale

  • En pratique, c’est simplement le passage de « l’ordinateur a dit que c’était juste » à « l’IA a dit que c’était juste »
    Les gens délèguent excessivement autorité et jugement aux machines et cherchent à éviter toute responsabilité en cas d’erreur
  • Le problème, ce n’est pas seulement l’IA, mais le pouvoir policier combiné à l’IA
    La reconnaissance faciale, la lecture automatisée des plaques et d’autres technologies de surveillance sont détournées de leur usage, et même quand la vie des victimes est détruite, personne n’en répond
  • Au fond, on voit une société se dégrader parce que des humains accordent une confiance aveugle à une IA défaillante
    La plupart des gens ne distinguent pas l’IA de l’intelligence réelle et prennent des décisions absurdes au motif que « l’ordinateur l’a dit »
  • Dans une affaire similaire, une simple boîte de médicaments a été prise à tort pour de la drogue, menant à une arrestation
    C’est visible dans cet article connexe
  • Quand on scanne des millions de photos, le taux de faux positifs ne peut qu’augmenter, donc le risque de fausses arrestations est considérable

• C’est clairement une affaire qui mérite un procès contre la police de Fargo et les agences publiques concernées
  La femme sur la vidéo est manifestement plus jeune, et plusieurs éléments montrent qu’il ne s’agit pas de la même personne
  Elle devrait obtenir au minimum plusieurs millions de dollars de compensation

  • Mais en pratique, ce sera compliqué à cause de l’immunité qualifiée (qualified immunity) des agents publics
  • Les US Marshals pourraient n’avoir aucune responsabilité, puisqu’ils n’ont fait qu’exécuter le mandat
  • Il est aussi amer de constater qu’au bout du compte, ces indemnisations sont payées par les impôts des citoyens
  • Le fait qu’« elle ait perdu sa maison, sa voiture, et même son chien de compagnie pendant son incarcération » est particulièrement choquant
    On se demande qui a pris le chien
  • Même si elle avait eu un sosie parfait, 6 mois de détention resteraient injustifiables

• D’après l’article, le résultat de reconnaissance faciale relève à la fois d’une erreur de l’IA et d’un échec humain généralisé
  Police, procureur, juge, shérif : tout le monde porte une part de responsabilité
  On ne devrait jamais délivrer un mandat sur la seule base d’une reconnaissance faciale

  • Il ne faut pas oublier que plusieurs acteurs ont fauté en même temps
    a) mauvaise utilisation de l’outil et négligence de la police,
    b) absence de supervision du pouvoir judiciaire,
    c) tolérance d’usages abusifs pourtant prévisibles de la part de l’entreprise fournissant l’IA
    Ce type de défaillance devrait entraîner perte de fonction et responsabilité institutionnelle
  • Dans un pays de 300 millions d’habitants comme les États-Unis, il y a forcément beaucoup de sosies
    C’est le résultat d’une confiance aveugle dans les prétendus pouvoirs mystérieux de l’IA et d’un mépris des droits du suspect
  • L’IA n’est pas un sujet de droit ; la responsabilité incombe uniquement aux humains
  • En réalité, le logiciel n’a fonctionné que comme un simple outil de filtrage de motifs
    Il n’a fait que suggérer une « possibilité de correspondance », que des humains ont ensuite prise à tort pour une preuve définitive

• Cette affaire rappelle le scandale de la Poste britannique

  • J’avais suivi les audiences sur YouTube à l’époque, et le niveau d’arrogance et d’incompétence m’avait sidéré
  • Je recommande aussi la mini-série primée aux BAFTA Mr Bates vs The Post Office
  • Rien que d’y repenser, la colère remonte
  • Au moins, le chef de la police de Fargo n’a pas encore reçu de distinction honorifique, c’est déjà ça

• La vidéo de The Civil Rights Lawyer traite aussi d’un cas similaire
  L’IA d’un casino a désigné la mauvaise personne, et la police a procédé à l’arrestation sans la moindre vérification
  Même après l’établissement de son innocence, le procureur a maintenu les poursuites pour intrusion

  • Partage également du lien vers la vidéo YouTube
    Comme on dit que le monde est petit, une connaissance d’une connaissance connaissait justement la personne impliquée dans cette affaire

• En voyant les photos de reconnaissance faciale, on a l’impression qu’on pourrait croiser des personnes qui lui ressemblent plusieurs fois par semaine

• J’étais d’abord content en me disant : « Tiens, ma ville natale est sur Hacker News ! », mais en voyant le sujet, j’ai tout de suite eu un mauvais pressentiment
  Le chef de la police aurait démissionné aujourd’hui, et cela semble probablement lié à cette affaire

  • Chez nous aussi, quand la ville passe dans les infos nationales, c’est toujours pour ce genre de faits divers
  • Certains ont aussi demandé la source de l’information sur la démission du chef de la police

• Certains disent que « ce n’est pas l’IA, ce sont les humains qui ont fauté », mais c’est justement tomber dans la stratégie marketing des entreprises d’IA
  Police, responsables politiques et opérateurs du système bénéficient tous d’une structure d’impunité, ce qui empêche d’établir les responsabilités
  Au final, il ne reste que l’outil et ceux qui l’ont fabriqué
  Dire que « le problème, ce n’est pas l’IA mais les humains » revient en fait à aider les entreprises à esquiver leur responsabilité
  Si l’on veut vraiment demander des comptes, il faut les demander au capital et aux fournisseurs de technologie

  • Entièrement d’accord
    Ce résultat était prévisible, et c’était déjà annoncé dès l’instant où de l’IA de reconnaissance faciale a été vendue à la police américaine