La police armée encercle un élève après qu’une IA a pris un sachet de Doritos pour une arme

• Dans un lycée américain, un dysfonctionnement d’un système de détection d’armes par IA a conduit un élève à être encerclé par une police armée
• Ce système, qui analyse les images de caméras de surveillance pour reconnaître la forme d’armes à feu, a en réalité confondu un sachet de chips Doritos avec une arme
• L’élève a été menotté sous la menace d’armes pointées sur lui, puis la capture d’écran fournie ensuite par la police a confirmé le faux positif de l’IA
• Omnilert, l’entreprise qui a développé le système, a affirmé qu’« il s’agissait d’un faux positif, mais que le système avait fonctionné comme prévu », une position également soutenue par l’établissement scolaire
• L’incident a relancé le débat sur la fiabilité et les limites éthiques des technologies de surveillance par IA à l’école, en mettant en lumière les risques d’une société trop dépendante de l’IA

---

Aperçu de l’incident

• Au Kenwood High School, à Baltimore dans le Maryland, Taki Allen, un élève de 16 ans, a été maîtrisé par une police armée à la suite d’un faux positif d’un système de surveillance par IA
  • L’incident s’est produit le 20 octobre, alors qu’Allen se trouvait avec des amis après un entraînement de football
  • Plusieurs voitures de police sont arrivées devant l’école et ont pointé leurs armes sur les élèves en leur ordonnant de « se coucher au sol »
• Allen a été fouillé alors qu’il était à genoux et menotté, mais la police n’a trouvé aucune arme
  • Sur la capture d’écran de l’IA montrée par la police, le sachet de Doritos froissé dans sa poche avait été identifié comme une arme
• Allen a déclaré avoir pensé sur le moment qu’« il pourrait mourir » et dit désormais avoir peur de retourner à l’école après l’incident

Fonctionnement du système d’IA et problèmes soulevés

• Le système en cause est la Gun Detection Technology d’Omnilert, une solution de surveillance par IA déployée l’an dernier dans les écoles publiques du comté de Baltimore
  • Il analyse en temps réel les images de CCTV existantes et envoie immédiatement une alerte à la police lorsqu’il détecte un objet supposé avoir la forme d’une arme à feu
• Omnilert a reconnu qu’il s’agissait cette fois d’un « false positive (faux positif) », tout en affirmant que le système avait « fonctionné comme prévu »
  • Selon l’entreprise, l’objectif est de « garantir la sécurité grâce à une vérification humaine rapide », et non de révéler un problème fondamental de la technologie
• Pourtant, les documents promotionnels de l’entreprise mettent en avant une « détection immédiate des armes » et un « taux de faux positifs proche de zéro », ce qui affaiblit sa crédibilité à la lumière de cet incident

Réaction de l’école et de la communauté locale

• Dans une lettre adressée aux parents, Baltimore County Public Schools a repris la position d’Omnilert en expliquant qu’il s’agissait d’« une mesure visant à assurer la sécurité des élèves et à renforcer la vigilance »
  • L’établissement a également annoncé la mise à disposition de services de soutien psychologique pour les élèves ayant assisté à la scène
• Allen affirme toutefois n’avoir reçu ni excuses directes ni prise de contact de la part de l’école
  • Il dit qu’on lui a seulement expliqué qu’il s’agissait d’un « protocole », exprimant sa déception face à la réponse de l’établissement
• Depuis l’incident, Allen affirme avoir peur que « si je remange quelque chose ou si je bois à nouveau, la police revienne encore », et hésite à retourner à l’école

Le débat s’élargit autour des technologies de surveillance par IA

• L’incident a déclenché un débat sur la fiabilité et les limites éthiques des systèmes de surveillance par IA
  • Il a notamment montré que, dans des lieux sensibles comme les écoles, les faux positifs de l’IA peuvent menacer la sécurité des élèves
• Des experts avertissent que si une erreur de jugement de l’IA débouche sur une réponse armée réelle, le risque d’atteintes graves aux personnes devient bien réel
• L’affaire remet en lumière la responsabilité sociale des technologies d’IA et l’importance des procédures de vérification humaine

Évolution internationale liée à l’essor de l’IA

• Au même moment, le major général de l’armée américaine William ‘Hank’ Taylor a suscité la polémique en révélant qu’il utilisait ChatGPT pour prendre des décisions militaires
  • Cela montre à quel point la dépendance à l’IA s’étend rapidement, y compris dans les institutions publiques et les organisations militaires
• Au Royaume-Uni, un système de vérification d’âge fondé sur la reconnaissance faciale pour accéder à des contenus pour adultes a également déclenché une nouvelle controverse autour de l’IA
  • Un homme très tatoué affirme que le système lui a affiché le message « remove your face », mettant en évidence les effets pervers des erreurs de reconnaissance par IA
• Ces exemples sont considérés comme représentatifs des conséquences imprévisibles qui apparaissent lorsque l’IA s’immisce profondément dans la vie quotidienne et dans les domaines de la sécurité publique

[onixboox]

L’étudiant arrêté n’était quand même pas noir, par hasard ?

[GN⁺]

Commentaires sur Hacker News

• Omnilert a reconnu qu’il s’agissait d’un « false positive », tout en affirmant que le système « avait fonctionné comme prévu »
  Mais en réalité, des personnes armées se sont déplacées après avoir reçu la fausse information selon laquelle « un adolescent avait une arme », ce qui a créé une situation extrêmement dangereuse
  Cet élève pourrait en garder un traumatisme. Ironiquement, les citations de l’article donnent l’impression que les adultes qui ont conçu cette technologie sont plus immatures que l’élève lui-même

  • Dans un autre cas, d’après un article sur le procès visant le système de surveillance par IA du district scolaire de Lawrence, un élève a été signalé par l’IA après une blague dans un chat de groupe, puis arrêté et détenu pendant 24 heures sans pouvoir voir ses parents ni un avocat
    Une action en justice est en cours contre Gaggle, tandis que son concurrent Lightspeed proposerait une option payante de relecture humaine des alertes
  • On nous parle de « sécurité assurée par une vérification humaine rapide », mais au final cela ressemble surtout à une défausse de responsabilité
  • C’est en pratique une situation d’AI swarm où « l’IA a déployé des ressources de manière autonome ». Il y a eu exécution sans jugement humain
  • Tout système a des false positives et des false negatives, mais ici les deux sont dangereux
    Au-delà de l’amélioration de la qualité du modèle de détection, il faut une architecture qui réduise le coût de l’échec. La vérification humaine ou une procédure de double contrôle en sont des moyens
  • Les ingénieurs l’ont présenté comme un « outil aidant la sécurité publique », mais le marketing et les ventes l’ont emballé comme un « système de décision entièrement automatisé », aboutissant à la satire bien réelle d’un dysfonctionnement qui met en joue

• Cet incident donne l’impression d’un modèle open source de reconnaissance d’objets YOLO légèrement modifié puis commercialisé
  Personne ne sait à quel point c’est réellement précis, sur quelles données il a été entraîné, ni quel est son taux de faux positifs
  À mon avis, le déploiement de tels systèmes devrait s’accompagner d’une obligation de publier les statistiques et les données d’entraînement

  • En fin de compte, ils sont passés complètement à côté du concept de « human in the loop ». Un jour, cette entreprise risque fort de faire face à une poursuite pour homicide involontaire

• John Bryan, connu sous le nom de The Civil Rights Lawyer, devrait sans doute parler de cette affaire
  Il critique de longue date le fait que la police braque des armes sur des gens avec des informations insuffisantes, en y voyant légalement un « usage excessif de la force »
  Si l’IA et la police avaient toutes deux vu la photo et l’avaient prise pour une arme, cela pourrait peut-être se défendre, mais si l’IA a déclenché l’intervention automatiquement, la justification est bien plus faible

  • Il n’est pas impossible qu’un jour, au tribunal, on entende l’argument selon lequel « les preuves issues de l’IA sont fiables parce qu’il s’agit d’une technologie financée à coups de milliards de dollars »
  • Je me demande si l’usage de la force sans motif valable relève immédiatement de la violence excessive, ou s’il existe une zone grise

• Il est dangereux de confier ce type de système à des personnes qui comprennent mal l’IA sur le plan technique
  Elles sont très susceptibles de croire aveuglément la sortie du système
  Ce sur quoi les équipes de sécurité de l’IA devraient vraiment se concentrer, c’est faire comprendre à la société que « les ordinateurs peuvent se tromper »

• L’établissement a déclaré qu’il « offrirait un accompagnement psychologique aux élèves », mais il vaudrait mieux lui imposer une responsabilité financière en cas de faux positifs
  Ce genre de technologie devrait encore rester au stade du laboratoire

  • Une mauvaise décision doit avoir un responsable. Seule une responsabilisation des décideurs peut faire cesser les mauvais jugements
  • Des effectifs et des ressources ont déjà été gaspillés dans une mauvaise réponse. Il faut désormais des démissions ou des sanctions
  • On en vient cyniquement à se demander s’ils ont au moins donné des cartes-cadeaux pour thérapie au lieu d’un vrai accompagnement
  • Bien sûr, toute technologie comporte des risques, mais je ne pense pas qu’un seul faux positif annule à lui seul tous les bénéfices
    En revanche, il faut publier en toute transparence le rapport entre les fausses alertes et les détections réelles

• Nous entrons dans une époque où des plateformes de surveillance comme Palantir se diffusent dans toute la société
  Les systèmes de ML non déterministes peuvent, en cas d’erreur, entraîner des pertes humaines
  Dans les sociétés autoritaires, ce type d’erreur est dissimulé ; il faut donc exiger dès maintenant une régulation juridique

  • Mais dans cette affaire, il ne s’agit pas de Palantir, mais bien d’Omnilert. Il ne faut pas confondre les sujets

• Omnilert a déclaré que « le système avait fonctionné comme prévu », mais en pratique l’IA a swatté quelqu’un
  Il vaut mieux éviter totalement les lieux où ce type de système est installé

  • C’est l’excuse d’entreprise typique du « ce n’est pas un bug, c’est une fonctionnalité »
  • Cette technologie finira par provoquer le sacrifice d’un élève innocent. Le niveau technique n’est tout simplement pas encore à la hauteur
  • Affirmer que la sécurité humaine a été prioritaire est manifestement faux

• On nous vendait une « vérification humaine rapide », mais en réalité c’était une vérification sous la menace d’un canon

  • L’idée selon laquelle « il ne faut pas perdre de temps à vérifier, il fallait neutraliser immédiatement la menace » est encore plus dangereuse
  • Quand la police intervient, elle devrait pouvoir voir immédiatement la vidéo source détectée par l’IA. Cela permettrait de réduire les faux positifs et de mieux comprendre la situation
  • La prochaine étape sera peut-être un CAPTCHA où l’on vérifie sous la menace d’une arme que vous n’êtes pas un robot

• À chaque passage dans les scanners TSA des aéroports, je suis inutilement tendu. À cause de pantalons avec fermeture éclair, je suis souvent soumis à un contrôle supplémentaire
  Nous entrons maintenant dans une époque où des caméras de sécurité IA dans la rue peuvent signaler arbitrairement des personnes
  Comme ces systèmes rapportent de l’argent, ils risquent de se répandre sans contrôle

  • Utiliser Precheck ou Global Entry peut réduire la fréquence des contrôles. C’est pénible, mais c’est une solution réaliste
  • Le fait d’essayer d’éviter les contrôles en changeant sa façon de s’habiller est un effet pervers du théâtre de la sécurité. On devra peut-être un jour adapter jusqu’à nos vêtements du quotidien
  • Les citoyens doivent eux-mêmes envoyer leur avis par e-mail. Il suffit que quelques centaines de personnes se mobilisent pour que les responsables politiques réagissent. Le silence est le plus gros problème
  • Une fois, j’ai présenté un permis de port d’arme au lieu d’une pièce d’identité, ce qui m’a valu un contrôle supplémentaire, mais heureusement c’est passé
  • Un ami, en m’attendant après le scanner, a été de nouveau contrôlé pour « stationnement suspect ». Il semble qu’un biais racial ait joué

• La formule « le système a fonctionné comme prévu » ressemble à une version réelle du mème « Not a hotdog »
  Sauf qu’ici, il s’agissait simplement de distinguer « arme / pas arme », et que la précision était encore pire