- En février 2026, l’armée américaine a bombardé l’école primaire de Minab en Iran, faisant plus de 175 morts, et une fausse information affirmant que Claude d’Anthropic avait choisi la cible s’est d’abord largement propagée
- En réalité, la décision de ciblage a été prise par le système Maven de Palantir, et l’absence de mise à jour d’anciennes données militaires a conduit à des victimes civiles
- Maven a automatisé la procédure de la kill chain au point de décider 1 000 cibles par heure, et dans ce processus, les étapes de vérification et de réévaluation ont été supprimées
- Cette automatisation a conduit, comme lors des frappes erronées au Vietnam et au Kosovo, à un problème structurel récurrent où la confiance dans la technologie remplace le jugement humain
- Le cœur de l’affaire n’est pas une erreur de l’IA, mais un système bureaucratique qui a éliminé le jugement et fait disparaître la responsabilité humaine
Le bombardement de l’école primaire de Minab en Iran et l’illusion de la « responsabilité de l’IA »
- Le 28 février 2026, l’armée américaine a bombardé l’école primaire Shajareh Tayyebeh à Minab, dans le sud de l’Iran, causant la mort de 175 à 180 personnes, dont des filles de 7 à 12 ans
- Juste après le bombardement, les médias et le monde politique se sont focalisés sur la question de savoir si le chatbot Claude d’Anthropic avait choisi la cible
- Mais le véritable système de sélection des cibles était Maven de Palantir, et Claude n’avait aucun lien avec l’affaire
- L’établissement avait autrefois été une installation militaire, mais en raison d’un échec de mise à jour des renseignements, il était toujours classé comme objectif militaire
Origine et structure du système Maven
- Maven est un projet lancé en 2017 par l’Algorithmic Warfare Cross-Functional Team du département américain de la Défense
- Son objectif initial était d’automatiser l’analyse des images de drones afin de réduire la surcharge de travail des analystes humains
- Google avait d’abord obtenu le contrat, mais s’en est retiré à la suite d’une contestation interne, avant que Palantir Technologies ne prenne la direction du développement à partir de 2019
- Maven a évolué en une infrastructure de ciblage reliant la détection d’objectifs jusqu’à l’ordre de frappe en intégrant données satellites, signaux et capteurs
- Palantir a reconfiguré Maven en « Smart System », intégrant la fusion de données en temps réel et des fonctions automatisées d’aide à la décision
- L’interface de Maven repose sur un tableau de workflow de type Kanban, où les objectifs avancent d’étape en étape
- Trois clics suffisent pour transformer des données de détection en cible officielle, et le système recommande les moyens d’attaque et les combinaisons d’armements
Compression de la « kill chain » et course à la vitesse
- Maven représente la forme la plus récente de compression d’une procédure militaire appelée « kill chain »
- La kill chain est un concept qui structure le processus allant de la détection à la destruction, et l’armée américaine développe depuis des décennies des technologies pour la raccourcir
- Maven est un système qui pousse la vitesse de décision à l’extrême, avec pour objectif en 2024 de décider 1 000 cibles par heure
- Cela correspond à une décision toutes les 3,6 secondes, ou, à l’échelle individuelle, une décision toutes les 72 secondes
- Lors de la guerre d’Irak en 2003, un travail de ciblage auparavant assuré par 2 000 personnes a été ramené à 20
- Le gain de vitesse a supprimé toute marge pour le jugement, et les processus de vérification, de contestation et de réévaluation ont disparu
- Cela a conduit à une hausse du risque d’erreur d’appréciation et à une aggravation des pertes civiles
Répétition historique : confiance technologique et disparition du jugement
- Le problème de Maven n’est pas un phénomène nouveau, mais la répétition d’un schéma historique où l’automatisation technologique remplace le jugement
- Dans les années 1960, l’Operation Igloo White pendant la guerre du Vietnam a vu un système de ciblage fondé sur des capteurs dysfonctionner et produire de faux résultats
- La CIA a signalé que le nombre de camions détruits dépassait le nombre réellement existant, révélant l’opacité d’un système incapable de s’auto-vérifier
- La doctrine du bombardement de précision de la Seconde Guerre mondiale, elle aussi obsédée par l’efficacité, a fini par perdre de vue le sens des objectifs, au point d’être qualifiée de « technological fanaticism »
- Le manuel de ciblage de l’US Air Force de 1998 insistait sur une « pensée rationnelle fondée sur les faits et les conclusions »,
- mais dans les opérations réelles, des « target packages (TIP) » sous forme de PowerPoint étaient validés par citations circulaires sans vérification
- Pendant la guerre du Kosovo en 1999, le bombardement erroné de l’ambassade de Chine a été enregistré comme un cas emblématique de ce type d’erreur procédurale
Suppression du jugement et « double contrainte bureaucratique »
- Une organisation a besoin de suivre des règles tout en ayant des personnes capables d’interpréter les exceptions,
- mais reconnaître ce jugement fragilise l’autorité des règles, d’où la tentative de quantifier et procéduraliser le jugement
- L’historien Theodore Porter a appelé cela « Trust in Numbers »
- Dans son livre The Technological Republic, le PDG de Palantir Alex Karp écrit que
- « le logiciel est le barreur, et le matériel n’est qu’un moyen d’exécuter les recommandations de l’IA »
- il présente comme idéal un modèle d’« action collective autonome (bee swarm) » supprimant le jugement humain intermédiaire
- mais cela aboutit à une procéduralisation totale où l’espace d’interprétation disparaît, autrement dit à une « bureaucratie fragile »
- Les réunions, rapports et revues n’étaient pas une inefficacité, mais les seuls points où le jugement pouvait intervenir,
- or Maven les a remplacés par un tableau Kanban de workflow logiciel, supprimant toute marge de jugement
Les causes structurelles du bombardement de l’école de Minab
- Dans le dossier de ciblage, le bâtiment était classé comme installation militaire,
- alors qu’en réalité il était répertorié comme école sur Google Maps et dans des bases de données commerciales iraniennes
- mais à une cadence de 1 000 décisions par heure, personne n’a pris le temps de le rechercher ni de le vérifier
- Sans approbation du Congrès, 6 000 cibles ont été frappées en deux semaines, et l’une d’elles était une école primaire
- après l’incident, le débat s’est concentré sur une « erreur de Claude »,
- occultant ainsi les responsabilités politiques et juridiques essentielles, comme la légalité de la guerre, l’absence d’autorisation du Congrès ou la possibilité de crimes de guerre
- Le cadrage en « problème d’IA » fonctionne comme un refuge permettant de dissimuler les décisions et la responsabilité humaines
- quelqu’un a comprimé la kill chain, a considéré la réflexion comme de la « latence »,
- et a conçu un système qualifiant de « haute qualité » une cadence de 1 000 décisions de ciblage par heure
- Toutes ces décisions ont été prises par des humains, et l’IA ne peut pas porter cette responsabilité à leur place
Aucun commentaire pour le moment.