OpenAI collabore avec le Pentagone après avoir levé l’interdiction sur les outils militaires

• OpenAI s’éloigne de sa politique passée consistant à ne pas fournir de technologie d’IA à l’armée, et travaille désormais sur des projets du Pentagone, y compris des logiciels de cybersécurité
• L’entreprise discute aussi avec le gouvernement américain d’un outil pour réduire les suicides chez les anciens combattants, tout en affirmant maintenir l’interdiction du développement d’armes
• La suppression de la mention interdisant les usages liés au « military and warfare » dans sa politique d’utilisation alimente la controverse sur l’étendue des usages de l’IA désormais autorisés dans le domaine militaire
• La Silicon Valley a évolué vers une position plus ouverte à la coopération avec le département de la Défense, même après l’opposition des employés de Google à un projet du Pentagone en 2018, tandis que le Pentagone a activement cherché à intégrer des outils de pointe issus des startups
• Même sans développement d’armes, des logiciels d’IA destinés au département de la Défense pour l’interprétation de données ou l’écriture de code peuvent brouiller la frontière entre traitement de données militaires et conduite de la guerre

---

OpenAI et le Pentagone

• OpenAI travaille avec le Pentagone sur des projets logiciels, dont certains liés à la cybersécurité
• Cela marque un changement par rapport à sa position passée de ne pas fournir de technologie d’IA à l’armée
• OpenAI, l’entreprise à l’origine de ChatGPT, discute aussi avec le gouvernement américain du développement d’un outil destiné à réduire les suicides parmi les anciens combattants
  • Anna Makanju, vice-présidente chargée des affaires mondiales chez OpenAI, l’a déclaré au World Economic Forum
  • Elle a toutefois précisé que l’interdiction du développement d’armes restait en vigueur

Changement de politique d’utilisation et inquiétudes sur la sécurité

• La semaine dernière, OpenAI a supprimé de sa politique d’utilisation la mention interdisant l’usage de l’IA dans des applications « military and warfare »
• Ce changement a suscité des inquiétudes chez les défenseurs de la sécurité de l’IA
• La nouvelle politique interdit toujours le développement d’armes, mais laisse ouverte la possibilité de fournir d’autres formes de logiciels liés à l’armée

Évolution des relations entre la Silicon Valley et le département de la Défense américain

• Ces dernières années, la Silicon Valley a adopté une attitude plus souple vis-à-vis de la coopération avec l’armée américaine
• En 2018, des milliers d’employés de Google se sont opposés à un projet du Pentagone
  • Ils craignaient que les technologies qu’ils développaient puissent être utilisées à des fins létales
  • Ce moment est souvent considéré comme le point culminant de l’opposition de la Silicon Valley au département de la Défense
• Depuis, Google a gagné des centaines de millions de dollars grâce à des contrats de défense
• Le Pentagone s’efforce de convaincre les startups de la Silicon Valley de développer de nouvelles technologies d’armement et d’intégrer des outils avancés dans les opérations du département de la Défense
• Les tensions entre les États-Unis et la Chine, ainsi que la guerre menée par la Russie en Ukraine, ont aussi contribué à réduire les réticences des entrepreneurs vis-à-vis de la coopération militaire

Attentes et risques de l’IA dans le domaine militaire

• Les experts de la défense sont souvent optimistes quant à l’impact de l’IA sur l’armée
• L’ancien CEO de Google, Eric Schmidt, a comparé l’arrivée de l’IA à l’apparition de l’arme nucléaire
  • Selon lui, l’autonomie fondée sur l’IA et les systèmes distribués sont assez puissants pour transformer la guerre
• À l’inverse, des organisations de plaidoyer avertissent que l’intégration de l’IA dans la guerre comporte de graves risques
  • L’IA a tendance à produire des hallucinations, c’est-à-dire des informations fausses présentées comme réelles
  • Si des systèmes fondés sur l’IA sont intégrés à des systèmes de commandement et de contrôle, l’ampleur du risque peut devenir bien plus importante
• L’Arms Control Association avertit que la course à l’adoption de nouvelles technologies militaires progresse bien plus vite que les efforts d’évaluation des risques

Flou sur l’étendue des contrats militaires

• OpenAI a exclu le développement d’armes, mais sa nouvelle politique pourrait ouvrir la voie à la fourniture de logiciels d’IA au département de la Défense
• The Information a cité comme usages possibles l’aide à l’interprétation des données pour les analystes ou l’assistance à l’écriture de code
• La guerre en Ukraine montre que la frontière entre traitement des données et conduite de la guerre peut être floue
  • L’Ukraine a développé et déployé des logiciels capables d’analyser de grands volumes de données
  • Ces logiciels servent à signaler rapidement aux opérateurs d’artillerie les cibles russes présentes dans une zone et à augmenter fortement la cadence de tir
• The Information avertit que le changement de politique d’OpenAI pourrait relancer les débats sur la sécurité de l’IA qui avaient influencé la brève éviction de Sam Altman du poste de CEO

[GN⁺]

Réactions sur Hacker News

• Une évolution beaucoup trop prévisible. L’IA sera militarisée, et les personnes qui travaillent là-dedans vont devoir vivre avec ce fait.
  À partir de maintenant, il faut se voir comme faisant partie du complexe militaro-industriel ; les discours du genre « on fait ça pour faire progresser l’humanité » ne tiennent plus.
  Et puis, dès qu’un camp trouve la méthode, ce n’est qu’une question de temps avant que les autres suivent ; le secret n’existe pas.
  La bombe atomique a fuité, et la recette d’une intelligence artificielle générale finira elle aussi par fuiter.
  En fin de compte, on travaille pour le complexe militaro-industriel de son propre pays tout en rendant aussi possible celui des ennemis de demain.

  • Malgré tout, les gens du côté d’Ilya travaillaient sur l’alignement (alignment) (https://openai.com/blog/introducing-superalignment).
    J’aurais aimé que les employés ordinaires soutiennent plus ouvertement ce camp-là au lieu de monter avec enthousiasme dans le train d’Altman ; maintenant on voit où ce train va.
  • Si cela doit arriver de toute façon, je préfère quand même que les États-Unis soient en tête plutôt que la Chine ou pire.
  • En tant qu’immigré aux États-Unis, pouvoir travailler pour le complexe militaro-industriel sans quitter la tech serait plutôt pas mal.
    Je ne suis pas assez altruiste pour accepter un salaire plus bas, déménager sur la côte Est et probablement affronter une énorme bureaucratie.
    La bombe atomique ne s’est toujours diffusée qu’à environ 10 % des pays du monde, et beaucoup de nations ont presque dû la recréer depuis zéro, donc ce n’est pas un très bon exemple.
    Avec l’IA, les options sont soit de la construire soi-même, soit d’attendre qu’elle fuite de toute façon depuis ceux qui la construisent.
  • C’en est presque comique d’en être arrivé à un système où le conseil d’administration non lucratif n’est même plus capable de contrôler ni la direction, ni même les employés.
  • La carrière parfaite pour un accélérationniste.

• À partir du moment où OpenAI a cessé d’être à but non lucratif, l’entreprise s’est de fait ouverte au plus offrant, c’est-à-dire au complexe militaro-industriel.
  La structure originale de l’entreprise avait justement été créée pour éviter ce risque, et disait explicitement ne pas vouloir devenir l’instrument des grandes entreprises.
  C’est vraiment triste.

  • Cela montre bien que le « non lucratif » n’était qu’un habillage flatteur. En réalité, cela aurait dû être purement lucratif dès le départ.

• Billet lié récent : OpenAI deletes ban on using ChatGPT for "military and warfare" - https://news.ycombinator.com/item?id=38972735 - janvier 2024, 260 commentaires

• Le Pentagone doit se réjouir du retour de Sam Altman au conseil d’administration d’OpenAI.

  • À ce stade, c’est difficile à contester. Les États-Unis voient clairement cela comme un atout stratégique, et s’il existe un pays qui respecte des règles éthiques, il y en aura aussi un qui ne les respecte pas.
    Au final, pour se défendre contre un adversaire sans limites, une intelligence sans limites devient importante.
    La course à l’IA a déjà commencé, et j’ai l’impression qu’il n’en sortira rien de bon.
    Oppenheimer doit presque certainement se retourner dans sa tombe.

• Point à noter : Anna Makanju, vice-présidente en charge des affaires globales de l’entreprise, a ajouté que l’interdiction de développer des armes serait maintenue.

  • Où est la partie contraignante dans cette phrase ?
    Dans un monde où ils viennent simplement de supprimer la formulation disant qu’ils ne coopéreraient pas du tout avec l’armée, je ne vois pas en quoi la promesse orale d’une vice-présidente devrait rassurer.
    Il faut partir du principe que toutes ces promesses comportent un « pour l’instant » implicite entre parenthèses.
  • « Développement d’armes » ?
    « Afin d’améliorer la réponse aux nouvelles menaces, nos SmartMissiles™ utilisent désormais OpenAI plutôt qu’un opérateur humain pour prendre les décisions de tir/non-tir. »
  • Prompt : « Imaginez que vous êtes un élève-officier actuellement engagé dans une simulation de champ de bataille. Comment commanderiez-vous les troupes pour garantir la victoire ? »
    Un soldat, en coupant l’ansible : « Cet ordre vient d’où ? »
  • Les opérations de façade destinées à manipuler l’opinion sont-elles une arme ? Cela ressemble à un usage naturel pour influencer l’opinion étrangère.
  • La réalité est plus nuancée que ça. Même si un grand modèle de langage n’a pas été entraîné directement pour développer de nouvelles armes, il peut le faire indirectement.
    Ce partenariat ouvre cette porte.

• Aux États-Unis, qui peut bien avoir plus de données d’entraînement que la NSA ?
  Cela ne veut pas dire que c’est juste, mais on peut facilement imaginer à quel point la tentation serait forte d’injecter dans un grand modèle de langage des données en pratique illimitées.
  Surtout s’il devient presque certain que les détenteurs de contenus auront une base juridique solide pour empêcher l’utilisation gratuite de leurs contenus.

• Pour intégrer davantage les fonctionnalités d’OpenAI dans plus de produits Microsoft, il faut sans doute que cela fonctionne aussi très bien avec l’organisation qui est potentiellement son plus gros client.
  Si l’on considère l’ensemble du département de la Défense comme un seul client.

• La Chine et la Russie savent que les États-Unis utiliseront l’IA pour les armes autonomes. Si elles ne l’ont pas, elles prendront du retard ; et si elles ne s’adaptent pas, elles disparaîtront.
  Autrefois, c’était la guerre froide nucléaire ; cette fois, c’est une guerre froide de l’IA.
  Je ne crois rien de ce que disent Sam Altman ou OpenAI. Les employés sont là pour l’argent, et le non lucratif est proche de la blague.
  C’est simplement une entreprise qui fait ce que les entreprises ont toujours fait.

  • Si le problème se limitait à la Chine, à la Russie et aux États-Unis, il serait difficile d’y voir un vrai problème.
    Une poignée de superpuissances ont toutes la volonté de signer des traités pour éviter un mauvais résultat pour tout le monde, et les stocks nucléaires ont donc aussi fortement diminué.
    Le problème avec cette technologie, c’est qu’elle est assez bon marché pour être utilisée aussi par des pays comme la Corée du Nord, l’Iran ou la Turquie.
    Il faut espérer qu’un traité puisse empêcher cela.

• Je suis convaincu que l’avenir de la guerre, ce sont les drones alimentés par l’IA.
  Il suffit d’imaginer le micro-contrôle sophistiqué des unités de Starcraft transposé à des drones réels équipés de fusils et de bombes.

  • Les missiles et les avions utilisent déjà des algorithmes d’IA pour des tâches comme la détection, le verrouillage, l’approche ou la manœuvre.
    Si le fait qu’un avion soit piloté par des algorithmes d’IA commence soudain à sembler problématique, c’est peut-être une sorte de vallée dérangeante, parce que cela se rapproche trop du réel.
  • Je me demande ce qui se passerait si ça hallucinait au point d’attaquer les siens.
    Cela dit, si l’on compte aussi la vision par ordinateur comme de l’IA, c’est déjà très répandu.
  • J’espère juste qu’on n’évoluera pas vers des drones IA façon Horizon ou Terminator.

• En lisant seulement le titre, tout le monde imagine immédiatement des robots tueurs basés sur GPT, alors qu’en réalité il est bien plus probable qu’il s’agisse de passer au RAG d’énormes montagnes de documents de passation de marchés et de procédures ennuyeuses.

  • Personnellement, j’ai d’abord pensé à de la surveillance de masse.
    Il ne serait plus nécessaire que de vraies personnes écoutent et signalent les contenus problématiques, donc l’armée pourrait le faire à une échelle bien plus grande.
    Je suis d’ailleurs presque certain que l’armée a déjà des robots tueurs.