Des employés de Google demandent des « lignes rouges » sur l’IA militaire… dans un mouvement similaire à celui d’Anthropic

• Des employés de Google demandent l’établissement de limites éthiques claires (« lignes rouges ») pour les projets d’intelligence artificielle (IA) à usage militaire
• Ils expriment leurs inquiétudes face à l’élargissement de la coopération avec le Pentagon (département américain de la Défense) et soulignent la nécessité de limiter le champ des usages militaires de l’IA
• Cette demande est considérée comme s’inscrivant dans une dynamique similaire à la décision récente d’Anthropic de fixer ses propres restrictions sur l’IA militaire
• Les employés estiment que des directives claires doivent être mises en place afin que les divisions IA de Google, dont DeepMind, ne participent pas au développement d’armes ni au soutien aux opérations de combat
• Le débat interne sur la frontière entre éthique de l’IA et coopération en matière de sécurité refait surface au sein des entreprises technologiques

---

Les inquiétudes des employés de Google sur l’IA militaire

• Des employés de Google ont fait part de leurs inquiétudes quant à la possibilité que les technologies d’IA de l’entreprise soient utilisées à des fins militaires
  • En particulier, alors que la coopération avec le Pentagon s’intensifie, ils insistent sur la nécessité de règles internes pour empêcher l’application de l’IA à des armes létales ou à des systèmes de combat
• Les employés affirment qu’il faut renforcer les directives éthiques et clarifier le caractère non militaire des objectifs de développement de l’IA

Comparaison avec Anthropic

• Anthropic a récemment annoncé des mesures de restriction internes concernant l’IA militaire
  • Les demandes des employés de Google vont dans une direction similaire à cette décision d’Anthropic
• Dans les deux cas, il s’agit d’un mouvement d’autorégulation au sein du secteur technologique visant à prévenir les usages militaires abusifs de l’IA

Le rôle de DeepMind et les discussions internes

• La possibilité que DeepMind, filiale de Google, participe à des projets liés au Pentagon fait partie des sujets débattus
• Certains employés estiment qu’il faut fixer des lignes rouges claires pour empêcher DeepMind de participer au développement d’armes ou à des systèmes de soutien au combat

Les tensions éthiques au sein des entreprises technologiques

• Le débat actuel chez Google remet en lumière la tension entre l’éthique de l’IA et la coopération avec la sécurité nationale
• Les demandes des employés posent simultanément deux enjeux : la responsabilité sociale des entreprises et la limitation des usages militaires de la technologie

Ce que cela signifie pour l’ensemble du secteur

• Les cas d’Anthropic et de Google montrent une tendance où les entreprises d’IA redéfinissent leurs critères internes en matière de coopération militaire
• À l’avenir, d’autres entreprises technologiques pourraient elles aussi être poussées à adopter des politiques claires sur l’usage militaire de l’IA

[GN⁺]

Avis sur Hacker News

• Je comprends l’objectif, mais je me demande comment cela pourrait fonctionner à une échelle mondiale
  Par exemple, des employés américains peuvent refuser de développer ce type d’armes, mais des employés chinois pourraient ne pas le faire
  La vraie question est de savoir comment équilibrer le sentiment anti-guerre individuel avec la réalité du monde, en particulier dans le cadre de la course aux armements en IA

  • Il faut expliquer clairement quelle menace cela représenterait pour le reste du monde si la Chine militarisait l’IA, et discuter des réponses possibles
    La logique selon laquelle il faut forcément suivre en capacité est dangereuse
    L’équilibre entre sentiment personnel anti-guerre et réalité doit passer par l’ouverture de l’information, le refus du consentement volontaire, et l’exigence de justification pour chaque décision
  • Pas d’inquiétude. Même si Google ne le fait pas, xAI le fera
    À noter qu’Anthropic n’a pas rejeté tous les projets militaires, mais a adopté une approche de participation sous conditions
  • Au-delà de la théorie des jeux, si l’on regarde la réalité, si la Chine militarise l’IA, elle l’utilisera peut-être « un jour »
    mais si les États-Unis la militarisent, il est plus probable que cela serve à tuer des gens « avant la fin de l’année »
    Les développeurs américains doivent donc garder à l’esprit que les conséquences sont une réalité immédiate
  • Comme pour la course aux armements nucléaires, il faut limiter et contrôler cela par des traités
    Cela dit, il aurait mieux valu que les dirigeants politiques commencent à négocier avant de franchir les limites morales
  • Moins il y a de participants, plus les progrès ralentissent
    Autrement dit, si des ingénieurs talentueux refusent de travailler sur des projets non éthiques, cela réduit aussi les occasions pour des personnes moins qualifiées de faire de mauvaises choses
    Comme lorsque des développeurs white hat refusent de coopérer avec des hackers black hat, la non-participation éthique a un effet dissuasif

• Si ce genre de sujet doit être laissé uniquement à l’autorégulation, alors il n’y a déjà plus beaucoup d’espoir

  • Au final, tout en haut, il n’y a que l’autorégulation
    Malgré tout, le simple fait d’exprimer publiquement ce scrupule moral constitue un progrès
    Ce sont ces conversations répétées qui permettent de construire un consensus social et d’aboutir à une demande de changement
  • La situation est aujourd’hui si grave que même l’autorégulation vaut mieux que rien
    C’est bien préférable à se mettre à genoux devant un dirigeant fou de pouvoir

• L’intention est bonne, mais la boîte de Pandore de la militarisation de l’IA a été ouverte il y a bien longtemps

  • On entend toujours ce genre de phrase — « il est désormais impossible de reprendre le contrôle »
    Mais si c’était vrai, l’humanité aurait déjà disparu plusieurs fois
    Il ne faut pas perdre la conviction que la retenue est possible
  • En réalité, cette dynamique existe depuis le début
    parce que l’armée américaine a financé un grand nombre de projets informatiques

• La ligne rouge ne devrait pas être « usage limité au territoire national », mais simplement « on ne le fait pas »

• La nouvelle selon laquelle « 100 employés de Google ont protesté » est marquante

  • Mais ce genre d’affaire se transforme souvent en projet secret, et les personnes impliquées risquent au final d’être licenciées
    J’imagine qu’à l’horizon 2027, tout cela sera réglé discrètement
  • J’ai entendu dire qu’ils étaient plutôt 200 en réalité
  • Malgré tout, tout changement commence par une petite minorité de personnes courageuses

• Au vu des prises de position politiques de Jeff Dean, il semble plutôt proche du camp de la résistance
  Mais on peut douter que l’ensemble de la direction suive cette ligne

  • En revanche, au moment où des Américains seront victimes d’armes autonomes, cette résistance disparaîtra
    Il faut donc prévenir au maximum pour que cela n’arrive pas

• Article du New York Times : la guerre en Ukraine et le rôle des drones IA

• Je ne crois presque pas que Google maintiendra jusqu’au bout une position de principe

• Ce qui est intéressant, c’est que le département de la Défense a désigné Anthropic comme entreprise à risque pour la chaîne d’approvisionnement,
  tout en attribuant des contrats à OpenAI
  Les politiques d’interdiction des deux entreprises sont presque identiques, alors pourquoi cette différence de traitement ?

• Il est étonnant que cette discussion soit déjà tombée dans l’oubli
  Selon un article du Guardian,
  Google et OpenAI ont déjà tous deux des contrats avec la Défense
  Si l’on n’est pas d’accord avec cela, il faudrait quitter l’entreprise, mais très peu de gens le feront réellement

  • Pour ma part, je pense qu’il vaut mieux rester et résister en travaillant discrètement de manière inefficace