- Selon une enquête de +972 Magazine et Local Call, l’armée israélienne a utilisé Lavender au début de la guerre à Gaza pour marquer des dizaines de milliers de Palestiniens comme cibles d’assassinat, et les officiers du renseignement traitaient en pratique ses résultats comme un jugement humain
- Lavender attribuait un score aux personnes soupçonnées d’appartenir aux branches militaires du Hamas et du Jihad islamique palestinien, et des témoignages indiquent qu’environ 37 000 personnes ont été signalées comme combattants présumés durant les premières semaines de la guerre
- Plusieurs sources du renseignement affirment que les officiers ne vérifiaient pas les cibles de façon indépendante, consacraient en général seulement 20 secondes à confirmer qu’il s’agissait d’un homme, et n’avaient pas de politique de « zéro erreur » bien qu’une marge d’erreur d’environ 10 % soit connue en interne
- Des systèmes automatisés comme Where’s Daddy? servaient à suivre les cibles, qui étaient bombardées lorsqu’elles entraient dans leur résidence familiale, et des témoignages affirment que pour les cibles de rang inférieur, on privilégiait des bombes non guidées (dumb bombs) plutôt que des munitions de précision
- L’armée israélienne a nié l’idée que l’IA « inculpait » les cibles et a mis en avant une analyse indépendante du renseignement ainsi que le respect du droit international, mais les sources estiment que les seuils admis de victimes civiles, le calcul automatisé des dommages collatéraux et l’absence de vérification en temps réel ont conduit à des morts massives de civils
La génération de cibles confiée à Lavender
- The Human-Machine Team, publié en anglais en 2021, imagine une « machine » capable de traiter rapidement d’énormes volumes de données en temps de guerre afin de produire des milliers de cibles militaires potentielles
- L’auteur utilisait le pseudonyme « Brigadier General Y.S. », et +972 ainsi que Local Call disent avoir confirmé qu’il s’agit de l’actuel commandant de la Unit 8200 du renseignement israélien
- Le livre plaide pour une combinaison entre IA et humains afin de résoudre le goulot d’étranglement humain dans l’identification de nouvelles cibles et les décisions d’approbation
- D’après l’enquête, l’armée israélienne a effectivement développé un programme basé sur l’IA appelé Lavender, comme l’ont attesté six officiers israéliens du renseignement directement impliqués dans la génération de cibles d’assassinat via l’IA pendant la guerre à Gaza
- Le système était officiellement conçu pour signaler comme cibles potentielles de bombardement les membres présumés des branches militaires du Hamas et du Jihad islamique palestinien, y compris en particulier les membres subalternes
- Les sources indiquent qu’au cours des premières semaines de la guerre, l’armée s’est presque entièrement reposée sur Lavender, et qu’environ 37 000 Palestiniens et leurs logements ont été marqués comme candidats à une frappe aérienne
- Le porte-parole de l’armée israélienne a nié auprès de +972 et Local Call l’existence d’une telle kill list
Élargissement de la portée des « cibles humaines »
- Au sein de l’armée israélienne, par le passé, une « human target » désignait selon les règles du service juridique militaire international un haut responsable militaire pouvant être tué dans son logement privé même en présence de civils autour de lui
- Après l’attaque du 7 octobre menée par des combattants sous direction du Hamas dans le sud d’Israël, qui a tué environ 1 200 personnes et conduit à l’enlèvement de 240 personnes, l’armée israélienne a, selon les sources, désigné dans « Operation Iron Swords » l’ensemble des membres de la branche militaire du Hamas comme human targets, indépendamment de leur grade ou de leur importance militaire
- Auparavant, pour approuver l’assassinat d’une seule human target, un officier devait suivre une procédure d’incrimination complexe et longue
- recouper les preuves que la personne était bien un haut membre de la branche militaire du Hamas
- identifier son lieu de résidence et ses coordonnées
- savoir en temps réel à quel moment elle se trouvait chez elle
- Avec l’extension de la liste des cibles, passée de quelques dizaines de hauts responsables à des dizaines de milliers d’agents subalternes, le travail de renseignement en est venu, selon les sources, à dépendre fortement de logiciels d’automatisation et de l’IA
- Un officier supérieur a déclaré que la possibilité de frapper automatiquement des agents subalternes était le « Holy Grail », et qu’un basculement vers l’automatisation provoquait une explosion de la génération de cibles
Fonctionnement de Lavender et données utilisées
- Lavender analyse les informations collectées par un système de surveillance de masse sur la plupart des 2,3 millions d’habitants de Gaza et évalue, pour chaque individu, la probabilité d’être actif dans les branches militaires du Hamas ou du PIJ sur une échelle de 1 à 100
- Le système reçoit comme données d’entraînement les informations sur des membres connus du Hamas et du PIJ, apprend leurs caractéristiques, ou features, puis recherche des caractéristiques similaires dans la population générale
- Le livre The Human-Machine Team contient un bref guide pour construire une « target machine » basée sur l’IA, avec des exemples de caractéristiques susceptibles d’augmenter le score d’un individu
- appartenir au même groupe WhatsApp que des combattants connus
- changer de téléphone portable tous les quelques mois
- changer fréquemment d’adresse
- Le commandant du centre Data Science and AI de la Unit 8200, « Col. Yoav », a décrit lors d’une conférence privée à l’AI week de l’université de Tel-Aviv en 2023 une machine de ciblage détectant des « personnes dangereuses » à partir de leur similarité avec des listes existantes de combattants
- il a déclaré que ce système avait permis d’identifier un commandant de l’unité de missiles du Hamas lors d’une opération militaire à Gaza en mai 2021
- les diapositives de la présentation montraient une structure où l’on injecte les données de membres existants du Hamas, où l’on apprend leurs caractéristiques, puis où l’on attribue un score à d’autres Palestiniens selon leur degré de similarité
- « Col. Yoav » a souligné que la décision finale revenait à un humain, mais des sources ayant récemment utilisé Lavender disent qu’en pratique la finesse du jugement humain a été remplacée par la production massive de cibles et la létalité
Procédure d’approbation et tolérance à l’erreur
- Selon les sources, l’adoption automatique de la liste de cibles produite par Lavender a été approuvée environ deux semaines après le début de la guerre
- du personnel du renseignement a vérifié manuellement plusieurs centaines d’échantillons sélectionnés par l’IA
- sur cet échantillon, la précision de Lavender pour identifier un lien avec le Hamas a été évaluée à 90 %
- ensuite, lorsque Lavender jugeait qu’un individu était un combattant du Hamas, les officiers traitaient cela pratiquement comme un ordre, sans devoir vérifier de manière indépendante les données brutes ni les raisons de cette conclusion
- Un officier supérieur a déclaré que, selon les contrôles internes, les calculs de Lavender n’étaient considérés comme exacts qu’à 90 %, ce qui signifie que 10 % des cibles d’assassinat pouvaient ne pas appartenir à la branche militaire du Hamas
- Les sources expliquent que Lavender pouvait signaler à tort des personnes dont les schémas de communication ressemblaient à ceux de membres connus du Hamas ou du PIJ
- des policiers et personnels de la protection civile
- des proches de combattants
- des habitants portant le même nom ou le même surnom qu’un véritable agent
- des habitants de Gaza utilisant des appareils autrefois employés par des membres du Hamas
- Une source a expliqué qu’il n’existait pas de « politique de zéro erreur » et que les erreurs étaient traitées statistiquement
- Une autre source du renseignement a indiqué que, pour des cibles de combattants subalternes, on considérait qu’il valait peu la peine de consacrer du temps d’officier à la vérification, et qu’on acceptait donc la marge d’erreur de l’IA ainsi que le risque de morts civiles
La vérification humaine se limitait à confirmer qu’il s’agissait d’un homme
- L’armée israélienne a nié l’affirmation selon laquelle l’IA aurait « incriminé » les cibles, répondant que ces outils ne sont qu’un outil d’assistance au processus d’incrimination
- Dans sa réponse, l’armée affirme qu’un examen indépendant par un analyste du renseignement est requis dans tous les cas, ainsi qu’une vérification du caractère légal de la cible au regard des directives militaires et du droit international
- Mais les sources disent qu’avant de bombarder la maison de combattants subalternes présumés signalés par Lavender, la procédure réelle de supervision humaine se réduisait presque à une seule vérification
- confirmer si la cible choisie par l’IA était une femme ou un homme
- selon elles, l’hypothèse interne était qu’il n’y avait pas de femmes dans les branches militaires du Hamas et du PIJ, et que si la cible était une femme, il s’agissait probablement d’une erreur de la machine
- Un officier supérieur a expliqué qu’il consacrait en général 20 secondes par cible, et que sa seule valeur ajoutée humaine consistait à vérifier s’il s’agissait d’une voix masculine
- Selon les sources, cette méthode ne comportait aucun garde-fou permettant d’attraper les erreurs quand Lavender signalait à tort des hommes civils
Where’s Daddy? et le suivi des résidences familiales
- L’étape suivante consistait à décider où frapper les cibles produites par Lavender
- L’armée israélienne affirme que le Hamas déploie ses agents et ses moyens militaires au milieu de la population civile, et mène le combat depuis des structures civiles comme des hôpitaux, des mosquées, des écoles ou des installations de l’ONU
- Les six sources reconnaissent elles aussi dans une certaine mesure que le réseau de tunnels du Hamas passe sous des hôpitaux et des écoles, que des combattants utilisent des ambulances et que des moyens militaires sont placés à proximité de bâtiments civils
- Dans le même temps, les sources affirment que l’une des principales raisons du niveau sans précédent de morts dans les bombardements actuels est que l’armée a systématiquement frappé les cibles dans leur résidence privée, alors qu’elles s’y trouvaient avec leur famille
- Un logiciel de suivi automatisé permettait de suivre des milliers de personnes simultanément et envoyait automatiquement une alerte à l’officier chargé d’une cible lorsqu’elle entrait chez elle
- l’un de ces systèmes était Where’s Daddy?, révélé ici pour la première fois
- une source a décrit cela comme du « broad hunting », expliquant qu’on copiait la liste produite par le système de ciblage puis qu’on attendait de voir qui pouvait être tué
- Selon les chiffres de l’ONU, plus de la moitié des 6 120 morts du premier mois de guerre appartenaient à 1 340 familles, et de nombreuses familles ont été entièrement anéanties dans leur maison
- Des témoignages indiquent qu’en injectant dans Where’s Daddy? un nom figurant sur la liste de Lavender, la personne était surveillée en continu et pouvait devenir la cible d’une attaque détruisant toute la maison dès l’instant où elle y entrait
Choix des armes et bombes non guidées
- Une fois que Lavender avait marqué une cible d’assassinat, que le personnel militaire avait confirmé qu’il s’agissait d’un homme et que le logiciel de suivi avait localisé sa présence dans une résidence, l’étape suivante consistait à choisir la bombe
- CNN a rapporté en décembre 2023, en citant des estimations du renseignement américain, qu’environ 45 % des munitions utilisées par l’armée de l’air israélienne à Gaza étaient des bombes non guidées (dumb bombs)
- Trois sources du renseignement affirment que, pour les assassinats d’agents subalternes signalés par Lavender, seules des bombes non guidées étaient utilisées afin d’économiser des armes de précision plus coûteuses
- Une source a expliqué que, si une cible subalterne vivait dans un immeuble de grande hauteur, on ne l’attaquait pas parce qu’on ne voulait pas utiliser une « floor bomb » plus précise et plus chère, mais que si elle vivait dans un bâtiment de quelques étages, une frappe à la bombe non guidée pouvait être approuvée, même si elle tuait aussi les autres personnes présentes dans l’immeuble
- Une autre source a déclaré qu’avec ce système, les cibles ne s’épuisaient jamais, et que lorsqu’une frappe était annulée, on passait immédiatement à la cible suivante
Seuil admis de morts civiles
- Selon les sources, pendant les premières semaines de la guerre, le nombre de morts civiles considéré comme acceptable pour chaque combattant subalterne signalé par le système d’IA était fixé à 15 ou 20 personnes
- Ce « collateral damage degree » s’appliquait largement à l’ensemble des combattants subalternes présumés, indépendamment de leur grade, de leur importance militaire ou de leur âge, et ne comparait pas, au cas par cas, le gain militaire aux pertes civiles attendues
- Un officier d’une salle d’opérations de ciblage a déclaré que, par le passé, le service juridique militaire international n’avait jamais donné d’approbation globale pour un tel niveau de dommages collatéraux
- Il a expliqué que toute personne ayant porté un uniforme du Hamas au cours des une à deux dernières années pouvait être bombardée avec jusqu’à 20 victimes civiles collatérales sans autorisation spéciale, et qu’en pratique le principe de proportionnalité n’existait pas
- Une autre source de haut niveau a indiqué qu’au cours de la première semaine de guerre, les dommages collatéraux étaient à peine pris en compte, puis que les limites avaient ensuite été abaissées avant de remonter
Ciblage des commandants de haut rang et pertes civiles plus importantes
- Les sources disent que la méthode consistant à générer en masse des human targets subalternes dans des habitations civiles puis à les bombarder n’est plus utilisée aujourd’hui par l’armée
- certaines disent que la pression américaine a joué un rôle
- elles ajoutent que, comme de nombreuses habitations de Gaza ont déjà été détruites ou endommagées et que presque toute la population a été déplacée, il est devenu difficile de s’appuyer sur les bases de données du renseignement et sur les programmes automatisés de suivi des résidences
- Certaines sources affirment que les bombardements massifs d’agents subalternes ont surtout eu lieu durant la première ou les deux premières semaines de la guerre, puis ont été arrêtés pour économiser les bombes
- En revanche, les frappes visant de hauts commandants du Hamas ont continué, et dans ces cas l’armée autoriserait, selon les sources, des centaines de morts civiles pour une seule cible
- À propos du bombardement du 2 décembre visant Wisam Farhat, commandant du bataillon de Shuja’iya, une source se souvient avoir su que plus de 100 civils allaient mourir
- Des témoignages indiquent aussi que, le 17 octobre, pour assassiner Ayman Nofal, commandant de la brigade du Hamas dans le centre de Gaza, au camp de réfugiés d’Al-Bureij, la mort d’environ 300 civils avait été autorisée et plusieurs bâtiments détruits
- Le général Peter Gersten avait déclaré en 2021 à un média américain spécialisé défense que, dans les opérations contre l’EI, une frappe causant 15 victimes civiles collatérales sortait du cadre normal des procédures et nécessitait une autorisation spéciale du commandant du CENTCOM de l’époque, Lloyd Austin
L’ambiance interne dans l’armée après le 7 octobre
- Toutes les sources disent que le massacre commis par le Hamas le 7 octobre et l’enlèvement d’otages ont fortement influé sur la politique de feu de l’armée israélienne et sur les seuils admis de dommages collatéraux
- Une source a décrit une atmosphère initiale douloureuse et vindicative, avec des règles très relâchées
- Une autre a parlé d’une forme d’« hystérie » au sein d’une organisation pourtant professionnelle, expliquant que l’armée, ne sachant pas comment réagir, s’est mise à bombarder avec férocité pour démanteler les capacités du Hamas
- Une source du renseignement a indiqué qu’aucune instruction explicite ne disait que l’objectif était la « vengeance », mais qu’il était évident que si toute cible liée au Hamas était légitimée et presque tout dommage collatéral approuvé, des milliers de personnes mourraient
- L’armée israélienne a répondu que chaque cible est examinée individuellement, que le bénéfice militaire de l’attaque et les dommages collatéraux attendus sont évalués, et qu’aucune attaque n’est menée si les dommages collatéraux attendus sont excessifs au regard de l’avantage militaire
Automatisation du calcul des dommages collatéraux
- Selon les sources, le calcul du nombre de civils censés mourir avec la cible dans chaque maison était lui aussi effectué par un outil automatisé et imprécis
- Lors des guerres précédentes, le personnel du renseignement passait beaucoup de temps à vérifier combien de personnes se trouvaient dans le logement devant être bombardé, et ce nombre était inscrit dans le « target file »
- Après le 7 octobre, cette vérification minutieuse a été en grande partie abandonnée au profit de l’automatisation
- Selon les explications des sources, la méthode consistait à estimer, pour chaque maison, le nombre d’occupants avant-guerre à partir de la taille du bâtiment et de la liste des résidents, puis à réduire ce chiffre selon la proportion estimée d’habitants évacués dans le quartier
- par exemple, si l’on estimait que la moitié des habitants du quartier était partie, une maison où vivaient normalement 10 personnes était comptée comme n’en contenant plus que 5
- pour gagner du temps, l’armée ne vérifiait pas la présence réelle dans les logements via une surveillance directe, comme lors des opérations passées
- Une source a affirmé que ce modèle n’était pas connecté à la réalité et que les résidents enregistrés avant-guerre ne correspondaient pas aux personnes réellement présentes dans les maisons pendant la guerre
- La même source a ajouté que l’armée connaissait la possibilité de telles erreurs mais avait adopté ce modèle imprécis parce qu’il allait plus vite
Absence de vérification en temps réel et réduction des contrôles après bombardement
- Les sources disent qu’il pouvait s’écouler un laps de temps important entre le moment où un système de suivi comme Where’s Daddy? signalait le retour d’une cible à son domicile et le bombardement effectif, ce qui faisait que des familles entières mouraient parfois alors que la cible n’était plus là
- Trois sources du renseignement disent avoir vu des cas où l’armée israélienne a bombardé une résidence familiale avant de confirmer ensuite que la personne visée ne s’y trouvait pas
- Une source a expliqué qu’il arrivait qu’une cible soit bombardée parce qu’elle avait été chez elle quelques heures plus tôt ; parfois la position était revérifiée, parfois non
- Une autre source a raconté qu’à 20 heures la cible était considérée comme étant chez elle, mais que l’armée de l’air a bombardé à 3 heures du matin ; entre-temps, la cible avait déménagé avec sa famille dans une autre maison, tandis que le bâtiment bombardé abritait deux autres familles avec des enfants
- Lors des précédentes guerres à Gaza, une procédure de BDA d’évaluation des dégâts après frappe était menée après les assassinats de human targets, mais selon les sources cette procédure a été supprimée dans la guerre actuelle pour les attaques liées à des combattants subalternes signalés par l’IA, afin de gagner du temps
- Les sources ajoutent que, pour les frappes visant des cibles subalternes présumées du Hamas ou du PIJ, elles ne connaissaient pas le nombre réel de civils tués, et ne savaient même pas si la cible elle-même avait été tuée
1 commentaires
Avis sur Hacker News
Depuis longtemps, des chercheurs comme Didier Bigo s’inquiètent du fait que des individus soient pris pour cible sur la seule base de liens indirects avec des « terroristes » ou des « criminels ».
À l’origine, cela s’inscrivait dans le contexte de la surveillance révélée par Snowden, où l’on pouvait viser, par exemple, des personnes situées jusqu’à trois degrés de séparation d’un individu identifié, vidant de leur sens la procédure régulière et la surveillance ciblée.
Désormais, ce type de système d’IA ne sert plus seulement à surveiller, mais à tuer réellement des gens.
Le droit international humanitaire interdit de tuer des personnes qui ne sont pas des combattants, ou des « combattants » d’un groupe armé. Seules les personnes ayant une « fonction continue » de « participation directe » aux hostilités peuvent être attaquées à tout moment.
Autrement dit, seuls les membres de la branche armée du Hamas peuvent être pris pour cible ; les recruteurs, fabricants d’armes, responsables de la propagande ou du financement doivent être arrêtés ou jugés. Sinon, même dans une guerre conventionnelle, presque tous les civils pourraient devenir des cibles, comme un employé de banque ayant accordé un prêt à l’armée.
Ce qui rend Lavender terrifiant, c’est qu’il permet à Israël de cibler massivement des personnes protégées des attaques par le droit international, tout en ne fournissant qu’une mince justification politique fondée sur leur association avec des terroristes.
https://www.icrc.org/en/doc/assets/files/other/icrc-002-0990...
L’un des premiers usages de l’informatique par l’Allemagne pendant la Seconde Guerre mondiale consistait aussi à établir et traiter des listes de personnes à envoyer dans des camps de concentration. La seule différence aujourd’hui, c’est que l’on peut collecter et traiter davantage de données, plus vite et à plus grande échelle.
Bien sûr, pour empêcher quiconque de fouiller ou de poser des questions, tout est classé secret et l’accès est restreint.
Dans l’article du Guardian, un porte-parole de Tsahal déclare que ce système existe, mais qu’il n’est utilisé qu’à des fins électroniques ; c’est peut-être l’intention initiale ou la perception au sommet. Mais, dans les faits, il semble bien qu’il ait basculé vers le second cas.
Après tout, la majeure partie de la population est soumise à l’obligation de servir dans Tsahal.
Le droit international autorise à cibler ce type d’infrastructure si l’avantage militaire obtenu est proportionné aux pertes civiles.
On en arrive donc à la conclusion que, même si ces personnes ne peuvent pas être ciblées individuellement, il est acceptable, au regard du droit international, de frapper le bâtiment pendant qu’elles s’y trouvent si cela présente une valeur militaire.
Je ne pensais pas en arriver à ce genre de réflexion, mais je me demande si les personnes qui ont conçu et développé ce logiciel devraient être jugées pour meurtre ou crimes contre l’humanité.
À ce que je comprends, l’IA dans sa forme actuelle est une technologie qui ne devrait absolument pas s’approcher de ce type d’usage.
Les modèles d’inférence sont intrinsèquement assez non déterministes, au sens où l’on peut évaluer précisément un résultat spécifique souhaité, et il faut d’énormes volumes de données d’entraînement pour obtenir ne serait-ce qu’une faible précision. Or ces données d’entraînement n’existent probablement pas, et tout le système semble bâti sur une hallucination géante.
Je serais surpris que ce modèle d’IA soit précis ne serait-ce qu’à 10 %, et pas surpris s’il l’était à moins de 1 %. D’après ce que j’ai lu, la précision ne semble même pas être le point central.
L’article du Guardian https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai... m’a même amené à me demander s’il fallait autoriser le développement de l’IA tout court.
Cette application précise, et la justification qui l’accompagne, me semblent être l’un des exemples les plus flagrants d’usage abusif délibéré d’une technologie révélée publiquement. Est-ce un jugement naïf ?
Entre les deux, il existe aussi des approches comme les arbres de décision, qui fournissent des résultats explicables.
L’« IA » sert de dispositif pour justifier a posteriori certains actes génocidaires ; en réalité, cela ressemble plutôt à un massacre indiscriminé à l’ancienne, mû par la colère et le racisme.
Ensuite, ils prétendront n’avoir aucune responsabilité et rejetteront la faute sur le fantôme dans la machine.
Quelle que soit la mesure dans laquelle cette histoire donne une mauvaise image d’Israël, elle se lit quand même comme une tentative de se défausser de sa responsabilité en disant qu’au moins, ils essayaient de tuer des combattants armés
Il était clair dès le départ que l’objectif était de rendre la vie impossible à Gaza en ciblant les journalistes, les soignants et les personnes impliquées dans la distribution de l’aide
S’il y avait eu une politique visant à tuer délibérément des journalistes, des travailleurs humanitaires et des soignants, le nombre de morts aurait été bien plus élevé
Ne pas se rendre compte que le Hamas utilise ce type de rôles comme couverture opérationnelle, c’est être extrêmement naïf ou partisan
Je n’essaie pas de justifier les actions d’Israël, elles sont désastreuses, mais au vu des éléments disponibles jusqu’ici, je pense que l’affirmation initiale est manifestement fausse
Le fait même que nous en parlions n’est sans doute pas un hasard, et cela ressemble à une stratégie visant à convaincre les Israéliens que l’armée est technologiquement en avance et sait ce qu’elle fait, donc qu’il ne faut pas douter
Avec ou sans IA, ils auraient commis un génocide et violé l’ensemble du droit international humanitaire, mais pour ceux qui croient encore que ce génocide est justifié, cela peut améliorer l’image
L’idée que l’IA puisse servir à prendre des décisions permettant de tuer quelqu’un de manière préventive me met mal à l’aise
Par exemple, comme avec la navigation des voitures autonomes, les ordinateurs prennent peut-être déjà passivement des décisions qui tuent des gens. Dans ce cas-ci, il y aurait eu une procédure d’approbation humaine, mais on n’est qu’à un pas de robots tuant des personnes sans intervention humaine, et à un pas de l’intrigue de Terminator
Je me demande quelle serait l’alternative dans ce genre de cas. Je connais très peu la stratégie militaire, mais je ne sais pas si, sans IA, Israël aurait choisi moins de cibles, ou les aurait choisies de façon encore plus arbitraire
Il me semble que certains lisent cet article de travers en imaginant que, si Israël n’avait pas utilisé l’IA, il n’aurait lâché aucune bombe ; vu qu’il s’agit d’une guerre, c’est clairement peu probable. En guerre, des gens meurent, y compris des innocents, et c’est pour cela que tout le monde déteste la guerre et souhaite que celle-ci se termine le plus vite possible
Cette absence de contrôle a été autorisée alors même que, lors d’un contrôle interne, l’exactitude des calculs de Lavender n’était estimée qu’à 90 %, ce qui signifie autrement dit qu’ils savaient à l’avance que 10 % des cibles humaines désignées pour assassinat n’étaient pas membres de l’organisation militaire du Hamas
Il n’y avait donc pas de procédure d’approbation humaine. La politique elle-même a sans doute été ordonnée par quelqu’un, mais les cibles d’assassinat générées en continu étaient en pratique approuvées uniquement sur la base des prédictions du système d’IA
La phrase « afin de gagner du temps et de permettre, sans entrave, la production de masse de cibles humaines » est terriblement dystopique
Dans ce cas, même une petite IA n’aurait pas été nécessaire
Il est sans doute possible aussi que l’alternative soit pire. Les personnes qui ont créé Lavender pourraient même le prouver avec des données
Malgré tout, dans tous les cas, il devrait y avoir une pression morale pour garder l’humain dans la boucle. Ce type de tentative de justification ne retiendra pas autant l’attention du public qu’une scène de fin du monde à la SkyNet au-dessus de la tête des civils de Gaza
Quand on part du principe qu’on ne construira pas le Torment Nexus, il devient beaucoup plus facile de ne pas le construire
Beaucoup de gens vont s’arrêter au titre, mais j’aimerais vraiment qu’ils lisent l’article
Le deuxième paragraphe dit ceci : « En plus de parler de l’utilisation du système d’IA appelé Lavender, les sources ont affirmé que des responsables de l’armée israélienne avaient autorisé la mort d’un grand nombre de civils palestiniens, en particulier dans les premières semaines et les premiers mois du conflit »
Je recommande d’écouter toute cette saison du podcast Serial
« De grands volumes de données ont été traités afin d’identifier rapidement des agents potentiels “subalternes” à cibler. Quatre sources du renseignement ont déclaré qu’à un moment donné au début de la guerre, Lavender avait répertorié jusqu’à 37 000 hommes palestiniens liés au Hamas ou au PIJ par le système d’IA »
Ce n’est pas très différent de la façon dont, en 2001, on choisissait qui envoyer à Guantanamo ou dans des prisons plus secrètes, puis on bombardait l’endroit où ces personnes se trouvaient
Surtout, comme dans le monde de l’entreprise, j’ai l’impression que les ingénieurs de l’armée exagèrent le mot à la mode IA, tout en faisant exactement ce qu’ils faisaient déjà avant l’IA
Si vous envoyez de l’argent depuis un compte PayPal à un compte identifié comme lié à ISIS, une agence américaine à trois lettres viendra vite vous voir. D’après les témoignages d’utilisateurs, cela ressemble exactement à ça. Ce sont des humains, pas l’IA, qui décidaient de bombarder ou non un endroit
« NSA targets SIM cards for drone strikes, ‘Death by unreliable metadata’ »
https://www.computerworld.com/article/2475921/whistleblower-...
« Nous ne cherchions pas à tuer les agents [du Hamas] uniquement lorsqu’ils se trouvaient dans un bâtiment militaire ou participaient à une activité militaire », a déclaré un officier du renseignement A. à +972 et Local Call
« Au contraire, l’IDF les bombardait chez eux sans hésiter, et c’était la première option. Il est beaucoup plus facile de bombarder la maison d’une famille. Le système est conçu pour les trouver dans ce type de situation »
Gaza compte environ 2 millions de civils, dont beaucoup n’ont pas accès à la nourriture, à l’eau, aux médicaments ni à un refuge sûr. Certains de ces malchanceux vivent au-dessus ou en dessous d’agents du Hamas et de leurs familles
C’est du genre : « Ah, désolé lol », « On ne l’a pas fait exprès lol, promis », « Notre doctrine dit qu’on peut tuer X civils pour 1 agent ennemi, donc pas d’inquiétude »
La guerre à Gaza est différente de celle en Ukraine. Les villageois ukrainiens et russes peuvent se déplacer depuis la ligne de front vers le côté russe ou vers l’ouest de la Galicie, et les grands centres de population ne sont pas entièrement rasés
À Gaza, il semble que n’importe qui puisse mourir à tout moment, pour n’importe quelle raison ou sans raison. La « stratégie » d’Israël donne même à l’Ukraine et à la Russie des airs de modèles de retenue et de civilisation
Cela dit, cette guerre montre aussi que le Hamas ne respecte pas les règles et reste beaucoup trop près des civils
Je me demande à quel point cette technologie est réellement précise, ou si l’on se soucie à peine des résultats et beaucoup plus de son image high-tech
D’un côté, l’idée qu’une telle technologie existe est terrifiante ; de l’autre, ses sorties pourraient être tellement biaisées qu’elles ne seraient qu’un tas de déchets
Ce qui est encore plus effrayant, c’est que cela prouve que les gens au pouvoir ne s’intéressent pas à la « précision », mais à des justifications qui confirment leurs propres biais. Cela a toujours été le cas, mais le fait que l’IA permette de le faire passer à l’échelle est encore plus mortel
Avant, la limite était le nombre d’humains capables de mentir ; désormais, c’est la vitesse à laquelle la boîte noire magique peut tourner
Cette personne n’était pas armée ; dans le cadre de son travail, elle informait les autorités israéliennes des déplacements de l’équipe caritative afin d’ouvrir la voie, et sa famille au Royaume-Uni a confirmé sa mort. On en vient donc naturellement à se demander qui a autorisé un assassinat ciblé dans cette situation
Sur les photos prises après coup, on voit que le missile a traversé le toit du véhicule, ironiquement juste à côté du logo de l’organisation caritative alimentaire, clairement visible sur le dessus du véhicule
Le ministre israélien de la Défense affirme désormais qu’il s’agissait d’une erreur, mais selon l’enquête, si la cible réelle avait été atteinte, les règles d’engagement auraient pu autoriser 15 à 100 morts collatérales sans rapport
Surtout s’il est difficile d’auditer la façon dont « l’IA » est arrivée à sa conclusion. Désormais, n’importe qui peut devenir une cible
C’est un peu comme lorsque la police américaine dit avoir « senti une odeur de cannabis » ou qu’un chien renifleur a « marqué ». Cela fournit un moyen de justifier n’importe quelle fouille — ici, n’importe quel meurtre. La machine continue de broyer
En 2018, le CEO de Google Sundar Pichai, les SVP Diane Greene et Urs Hölzle, ainsi que l’ingénieur en chef Jeff Dean ont construit un système comme Lavender pour l’armée américaine. C’était le Project Maven
L’armée américaine voulait l’utiliser pour analyser des vidéos de drones de surveillance de masse afin de choisir des suspects à assassiner au Pakistan. Elle avait déjà largué des bombes sur des centaines de maisons et de véhicules, tuant des milliers de suspects ainsi que leurs familles et leurs amis [0]
À l’époque, je travaillais dans la division Google Technical Infrastructure d’Urs. J’ai découvert le projet dans la presse, et Urs nous a menti lors de réunions à ce sujet en affirmant que le contrat ne représentait que 9 millions de dollars. Il avait déjà été porté à 18 millions et se dirigeait vers 270 millions de dollars
Urs et Jeff Dean ont essayé de minimiser l’impact de ce qu’ils avaient fait. Jeff Dean clignait constamment des yeux quand il minimisait cet impact, puis a soudain cessé de le faire dès qu’il a commencé à parler des aspects techniques. À cet instant, j’ai perdu tout respect pour lui et pour la direction de l’entreprise
D’excellentes compétences en ingénierie et en affaires ne s’accompagnent pas nécessairement d’une maturité morale. Malheureusement, notre société n’est pas structurée pour garantir que les dirigeants reçoivent l’éducation morale nécessaire, ni pour les écarter lorsqu’ils échouent totalement dans leur jugement moral
[0] https://en.wikipedia.org/wiki/Drone_strikes_in_Pakistan
The Guardian a également mis cette histoire en une et en avait reçu les détails avant publication
https://www.theguardian.com/world/2024/apr/03/israel-gaza-ai...
Personnellement, je considère ce genre d’histoire comme une question d’intérêt public. Je ne vais pas le demander directement, mais j’espère que les flags seront levés et que la discussion pourra avoir lieu
J’aimerais qu’il soit déflagué et fusionné. Cela me semble être une histoire importante sur un nouvel usage de la technologie
[0] https://news.ycombinator.com/item?id=39917727