Déclaration de Dario Amodei sur les discussions avec le département de la Défense américain

• Deux domaines sont exclus du contrat : la surveillance intérieure de masse et les armes entièrement autonomes
• Anthropic fait de l’utilisation de l’IA pour la défense des États-Unis et des démocraties une mission centrale, et coopère pour cela avec le département de la Défense et les agences de renseignement
• Les modèles Claude sont utilisés sur des réseaux classifiés, dans des laboratoires nationaux et des organismes de sécurité nationale pour des missions comme l’analyse du renseignement, la planification opérationnelle et les cyberopérations
• L’entreprise protège l’avance américaine en IA en cessant ses transactions avec des entreprises liées au Parti communiste chinois, en bloquant des cyberattaques faisant un usage abusif de l’IA et en soutenant un renforcement des contrôles à l’exportation sur les semi-conducteurs
• Elle exclut toutefois explicitement deux domaines d’usage — la surveillance intérieure de masse et les armes entièrement autonomes — en raison de questions liées aux valeurs démocratiques et à la fiabilité technologique
• Anthropic maintient ces garde-fous malgré les pressions du département de la Défense et souhaite poursuivre la coopération

---

Coopération d’Anthropic avec la défense et déploiement de l’IA

• Anthropic est une entreprise pionnière, première à avoir déployé des modèles d’IA sur les réseaux classifiés du gouvernement américain
  • Elle a également été la première à fournir des modèles sur mesure pour des laboratoires nationaux et des clients relevant de la sécurité nationale
  • Les modèles Claude sont utilisés par le département de la Défense et plusieurs organismes de sécurité pour l’analyse du renseignement, la modélisation et la simulation, la planification opérationnelle et les cyberopérations
• L’entreprise présente des exemples où elle a renoncé à des gains à court terme afin de préserver l’avance technologique américaine en IA
  • Elle a mis fin à ses transactions avec des entreprises liées au Parti communiste chinois, renonçant ainsi à des centaines de millions de dollars de chiffre d’affaires
  • Blocage de cyberattaques en provenance de Chine ayant détourné Claude à des fins malveillantes
  • Soutien à un renforcement des contrôles à l’exportation sur les semi-conducteurs afin d’assurer l’avantage technologique du camp démocratique

Deux exceptions fondées sur les valeurs démocratiques et la fiabilité technologique

• Anthropic exclut explicitement deux cas d’usage dans lesquels l’IA pourrait porter atteinte aux valeurs démocratiques
  • Surveillance intérieure de masse : l’entreprise soutient les activités légales de renseignement à l’étranger, mais considère que la surveillance de masse à l’intérieur du pays va à l’encontre des principes démocratiques
    • La surveillance fondée sur l’IA permet de combiner automatiquement les données sur les déplacements individuels, l’usage du web et les relations sociales, rendant possible un profilage individuel à grande échelle
    • Le droit actuel ne suit pas le rythme des avancées technologiques, ce qui fait que certaines pratiques de surveillance restent légales
  • Armes entièrement autonomes : des armes capables d’identifier et d’attaquer une cible sans intervention humaine présentent, avec les technologies actuelles, un manque de fiabilité
    • Anthropic ne fournit pas de produits destinés à ce type d’armes
    • L’entreprise a proposé au département de la Défense une coopération de recherche pour améliorer la fiabilité, mais cela n’a pas été accepté
    • Elle précise qu’un déploiement est impossible à ce stade en raison de l’absence de supervision adéquate et de garde-fous

Exigences du département de la Défense et réponse d’Anthropic

• Le département de la Défense exige des entreprises d’IA qu’elles acceptent tous les usages légaux et qu’elles retirent ces deux garde-fous
  • En cas de refus, il aurait averti qu’Anthropic pourrait être désignée comme risque de chaîne d’approvisionnement (supply chain risk) ou contrainte via le Defense Production Act
  • Ces deux mesures ont un caractère contradictoire : l’une traite l’entreprise comme une menace de sécurité, l’autre comme une technologie indispensable à la sécurité nationale
• Malgré ces pressions, Anthropic déclare clairement ne pas pouvoir accéder à cette demande en conscience
  • L’entreprise reconnaît au département de la Défense le droit de choisir un autre prestataire, mais souhaite poursuivre la coopération tout en maintenant ces deux garde-fous
  • Même en cas de fin de contrat, elle promet d’assurer une transition fluide afin d’éviter toute perturbation des opérations ou de la planification militaires

Position à venir

• Anthropic réaffirme sa volonté de soutenir la sécurité nationale des États-Unis
• L’entreprise souhaite poursuivre sa coopération avec le département de la Défense, mais maintient qu’elle ne cédera pas sur ses principes de valeurs démocratiques et de sécurité technologique

[GN⁺]

Commentaires Hacker News

• Le passage le plus fort du texte est sans doute celui où le gouvernement exige la suppression des mesures de sécurité d’Anthropic tout en menaçant de les classer comme « risque pour la chaîne d’approvisionnement »
  D’un côté, il affirme que c’est essentiel à la sécurité nationale, et de l’autre, il les traite comme un facteur de risque : une posture contradictoire
  La réponse d’Anthropic — « dans ce cas, le gouvernement n’a pas besoin d’utiliser nos services » — est frappante. C’est une stratégie de communication, mais elle renvoie aussi la balle à l’administration

• J’ai travaillé chez Anthropic auparavant, et j’ai écrit un commentaire à propos de cette mise à jour du RSP
  Voir les dirigeants d’Anthropic être prêts à perdre leur poste ou des opportunités pour rester fidèles à leurs valeurs est émouvant
  Des personnes comme Dario, Jared ou Sam sont sincèrement prêtes à accepter des conséquences si on leur demande d’agir contre leurs convictions
  Bien sûr, ce n’est pas une entreprise parfaite, mais la plupart de ceux qui prennent les décisions importantes agissent avec de bonnes intentions et à partir de valeurs fortes

• En lisant le texte, je me suis arrêté sur la phrase disant que « l’IA actuelle n’est pas assez fiable pour faire fonctionner des armes entièrement autonomes »
  Autrement dit, cela semble laisser entendre que des armes autonomes seraient acceptables si elles devenaient suffisamment fiables
  Et le fait de ne critiquer que la « surveillance intérieure à grande échelle », sans rejeter la « surveillance partiellement autonome » ni la « surveillance à l’étranger », est aussi regrettable
  Je pensais que le nom « Anthropic » signifiait agir pour l’humanité entière, mais au final cela ressemble à une logique de « nos humains contre les vôtres »

  • Cela pousse à se demander si l’idée qu’« Anthropic agit pour l’humanité » est vraiment sincère
    Un peu comme OpenAI n’est pas forcément “open” et la Corée du Nord n’est pas vraiment une “république populaire”, le nom et la réalité peuvent diverger
    Cela m’a rappelé la page satirique People’s Republic of Tyranny
  • Je trouve que la formulation était appropriée. Dario n’est pas en position d’affirmer l’avenir de façon catégorique
  • Je pense qu’un jour, si les systèmes deviennent suffisamment fiables, des armes entièrement autonomes apparaîtront sur le champ de bataille
    Ce qu’Anthropic dit, c’est seulement que « pour l’instant ce n’est pas possible ». Plus tard, les restrictions pourraient très bien s’assouplir
  • Je le lis moins comme « ce sera possible si les données d’entraînement sont suffisantes » que comme « ce sera possible si un seuil de fiabilité est atteint »
    Le matériel comme les logiciels classiques ont eux aussi des limites de fiabilité, donc ce n’est pas en soi une position irrationnelle
  • Ce qui est intéressant, en revanche, c’est qu’ils disent que les armes autonomes ne sont pas encore assez fiables, tout en affirmant qu’elles le sont suffisamment pour remplacer des emplois de cols blancs ; cela paraît contradictoire

• La véritable nature d’une organisation se révèle quand ses valeurs entrent en conflit avec ses intérêts
  Voir Anthropic essayer de défendre ses principes est impressionnant. La plupart des entreprises n’auraient pas fait ce choix

  • Mais ce genre de décision a un coût au final
    Dépendre, pour des raisons morales, de systèmes nuisibles est voué à l’échec sur le long terme
    Il faut des mécanismes de dissuasion puissants contre les mauvais comportements, mais on a déjà l’impression qu’il est trop tard

• Ce texte m’a vraiment déprimé. Je ne sais plus très bien où vont les États-Unis
  J’espère qu’au prochain scrutin, on verra émerger un leadership rationnel

  • Mais cela ne se réglera pas en une seule élection. Il faudra un effort sur plusieurs générations
  • L’espoir ne suffit pas. Sans plan concret, il n’y a pas d’avenir
  • Ce n’est pas une tendance nouvelle. Depuis le 11-Septembre, on voit se succéder la militarisation de la police, les attaques contre la démocratie et une politique étrangère unilatérale
  • Je m’inquiète du fait que la diffusion incontrôlée de l’IA aggrave encore les structures sociales. On pourrait entrer dans une période encore plus chaotique que l’ère des réseaux sociaux
  • Tant que les démocrates se focaliseront sur des sujets périphériques au lieu des enjeux majeurs, ils auront du mal à gagner la prochaine élection
    J’habite à San Francisco : les enseignants doivent acheter leurs fournitures via GoFundMe, tandis que la ville dépense 36 millions de dollars pour retirer des camping-cars des rues
    Cet article lié montre bien à quel point la réalité est déformée

• À la racine de tous ces problèmes, il y a le fait que le Congrès a transféré ses pouvoirs à l’exécutif
  L’armée devrait être contrôlée par la loi, et seule l’action citoyenne peut changer cela
  Il est absurde que des entreprises influencent le comportement de l’armée. La technologie peut toujours être réquisitionnée, et les entreprises n’ont pas le pouvoir de l’empêcher
  Le fait que des PDG soient érigés en héros pour ce genre de choses montre à quel point la perception du réel est déformée

  • Dans un régime de mobilisation de guerre, encore ; mais dans une démocratie en temps de paix, ce type de mesures coercitives ne devrait pas être toléré

• Au départ, j’ai été déçu d’apprendre qu’Anthropic, tout en défendant une « IA pour l’humanité », avait vendu un accès prioritaire au Pentagone
  Cela dit, si quelqu’un doit forcément collaborer avec le complexe militaro-industriel, je comprends aussi l’argument selon lequel il vaut mieux que ce soit l’acteur aux standards moraux les plus élevés

  • L’IA est par nature une technologie parfaitement adaptée aux usages militaires et de surveillance. Elle analyse des masses de données pour en extraire des informations utiles
    Au final, une entreprise existe pour faire du profit
  • Une entreprise a besoin de revenus pour survivre. Si les utilisateurs ne paient pas assez, elle doit chercher d’autres sources de financement
    Tant qu’il y a des investisseurs et des actionnaires, la survie passera forcément avant la morale
    Une véritable indépendance n’est possible qu’au sein d’une structure qui ne dépend pas du profit

• Je suis abonné à Claude Max, et dans cette affaire je suis fier qu’Anthropic n’ait pas cédé au pouvoir
  J’espère que d’autres entreprises y trouveront du courage

  • Mais dans une certaine mesure, ils ont déjà cédé au pouvoir. Il leur reste simplement un minimum de fierté

• Le fait que l’expression « Department of War » ait été reprise telle quelle vient simplement du fait que le Congrès n’a pas changé le nom. À part ça, c’est une formulation correcte

  • Pas la peine de débattre du nom : en pratique, ceux qui détiennent le pouvoir l’emploient eux-mêmes
  • Au contraire, je trouve que le nom d’origine, « Department of War », décrit plus clairement sa fonction
    À force d’euphémiser tout, on finit par ne plus voir la réalité en face
  • Moi aussi, je trouve ce nom plus honnête. Il reflète mieux ce que l’institution fait réellement et oblige les gens à en mesurer le sens
  • Cette expression semble avoir été conservée parce que c’est le terme qu’Hegseth impose. S’ils avaient écrit « DoD », cela aurait été encore plus provocateur
  • Malgré tout, ce choix de dénomination joue un rôle dans le ton général du texte

• J’apprécie que Dario et Anthropic aient adopté une position morale. C’est rare dans le secteur technologique actuel

  • Qu’on soit optimiste ou pessimiste vis-à-vis des LLM, les dangers de la surveillance et des armes autonomes sont évidents
    Le fait que Dario ne se soit pas comporté comme Sam Altman ou Sundar Pichai est remarquable
  • Mais certains y voient simplement une mise en scène. Selon eux, ce n’est qu’un geste tardif de créateurs qui ont déjà fabriqué le monstre
  • Un autre point de vue dit que, dès la première phrase du communiqué — « défendre les États-Unis et la démocratie avec l’IA » — on peut ressentir du dégoût
    En pratique, Anthropic déploie déjà des modèles pour la défense et les agences de renseignement
  • Quelqu’un a aussi critiqué la faiblesse du fondement moral en demandant : « donc surveiller le Canada ou l’Allemagne, ce serait acceptable ? »
  • D’autres ont un regard cynique : « même si c’est moral aujourd’hui, après l’IPO, l’entreprise finira de toute façon par être soumise à la logique des intérêts de Wall Street et des fonds »
    Au bout du compte, face à des contrats publics de plusieurs milliards de dollars, aucune entreprise ne peut rester pure