L’accident du vol Ukraine International Airlines 752, survenu il y a quelque temps près de Téhéran en Iran, semble très probablement avoir été causé par un tir de missile effectué par erreur par l’Iran. À l’époque, en raison des frictions avec l’Iran, les États-Unis déployaient en avant six bombardiers stratégiques B-52 à proximité du pays, et cette montée des tensions a pu conduire une unité iranienne de défense antiaérienne à confondre un avion de ligne décollant de son propre territoire avec un appareil militaire américain venu attaquer un aéroport iranien. Par un étrange hasard, cela rappelle le [drame du vol Iran Air 655 abattu par l’USS Vincennes], dans une situation et une région similaires, où une erreur américaine avait détruit un avion civil iranien. Parmi les causes de cet incident, on cite une série d’erreurs humaines survenues sous forte tension psychologique, ainsi qu’une interface utilisateur inadaptée.
Comme on le voit, lorsqu’un humain est sous tension ou placé dans une situation imprévue et urgente, il lui est facile de sombrer dans la confusion et de commettre des erreurs de jugement. Beaucoup avancent alors comme solution l’automatisation par les machines, ou l’autonomie avec une intervention humaine minimale. Autrement dit, dans des situations où l’humain se trompe ou ne réagit pas à temps, la machine devrait prendre automatiquement et de manière proactive certaines mesures. L’idée se défend, mais le problème est que ceux qui fabriquent ces machines restent des êtres imparfaits. Il est donc très probable que ces machines le soient aussi. Dès lors, les actions automatisées qu’elles exécutent peuvent en réalité être erronées. De plus, si les personnes qui exploitent ces systèmes ne comprennent pas correctement l’automatisation, celle-ci peut au contraire aggraver les problèmes.
J’ai trouvé un article qui explique les aspects négatifs des systèmes autonomes à travers un cas de tir erroné de missile sol-air Patriot. (En anglais) Le missile Patriot est capable d’intercepter des missiles balistiques ennemis, mais comme cette tâche est trop complexe et trop urgente pour être gérée manuellement, un [mode automatique] a été introduit : une fois activé, il lance automatiquement un missile dès qu’un missile balistique est détecté par le radar afin de tenter son interception. Ce mode automatique a donné l’impression de bien abattre les missiles Scud pendant la guerre du Golfe, au point que l’armée américaine a fini par lui faire confiance avec une certaine légèreté. Mais pendant la guerre d’Irak, des missiles Patriot en mode automatique ont abattu à deux reprises des avions de chasse alliés. À cause d’interférences radio sur le radar, des missiles balistiques qui n’existaient pas réellement ont été détectés, ce qui a déclenché automatiquement le lancement de Patriot. Comme le missile ne trouvait pas la cible désignée, il a considéré comme cible l’objet le plus proche — un avion de chasse — et l’a abattu.
Le cas du mode automatique du missile Patriot montre très clairement les problèmes des armes létales autonomes (Lethal Autonomous Weapon : arme autonome conçue pour sélectionner et attaquer elle-même des cibles sans intervention humaine). Dans des situations ambiguës du monde réel, la capacité d’un système autonome à juger correctement est plus faible qu’on ne l’imagine. Et cela ne concerne pas seulement les armes létales autonomes : les systèmes autonomes influencent de plus en plus notre vie quotidienne. Par exemple, YouTube identifie automatiquement les contenus destinés aux enfants à l’aide du machine learning, ce qui suscite les protestations de créateurs classés de manière aberrante, et en Corée, à partir de juillet, il sera possible de commercialiser des voitures équipées de fonctions de conduite partiellement autonome de niveau 3. Nous entrons progressivement dans une époque de machines où l’intervention humaine se réduit, mais il faut garder à l’esprit qu’en cas de problème, l’intervention humaine reste nécessaire.
Référence - résumé extrait en coréen de l’article ci-dessus :
2 commentaires
La vidéo est sortie, et on dirait bien qu’il a vraiment été touché par un missile.
https://www.nytimes.com/2020/01/09/video/iran-plane-missile.html
L’Iran a fini par reconnaître que cet accident était dû à un tir ami lancé par erreur par ses propres forces. Mes condoléances aux proches des victimes.
https://www.yna.co.kr/view/AKR20200111031354009
https://www.yna.co.kr/view/AKR20200111041651111