- Les modèles open weight dépourvus de capacités dangereuses sont un bien public qui apporte de la valeur aux entreprises, développeurs et chercheurs, et Anthropic s’oppose à une interdiction de toute cette catégorie
- Les principales préoccupations de sécurité nationale ne concernent pas le mode de publication en lui-même, mais l’avantage de l’IA pour les gouvernements autoritaires, les attaques cyber et biologiques menées avec des modèles puissants, ainsi que les problèmes d’alignement
- Les modèles open weight peuvent accroître les risques, car il est difficile d’y appliquer des garde-fous et d’en surveiller l’usage, et il est impossible de les retirer une fois distribués ; toutefois, interdire leur usage par des entreprises américaines ne suffirait pas à empêcher les acteurs malveillants
- Comme alternative, Anthropic soutient le blocage des exportations de puces hautes performances et d’équipements de fabrication vers la Chine, la répression de la distillation à l’échelle industrielle, ainsi que des tests de sécurité obligatoires fondés sur les capacités, couvrant les modèles publics comme fermés
- Il ne faut pas présumer à l’avance que l’open weight favorise les défenseurs ; les risques, notamment l’asymétrie entre attaquants et défenseurs en biologie, doivent être évalués par des tests empiriques avant publication
Pourquoi s’opposer à une interdiction générale des open weight
- Après des informations selon lesquelles certains responsables américains envisageraient d’interdire aux entreprises américaines l’usage de modèles open weight chinois, plusieurs entreprises technologiques ont signé une lettre ouverte en soutien à l’open weight
- Anthropic rejette les critiques selon lesquelles elle souhaiterait une interdiction pour protéger ses intérêts commerciaux, et affirme n’avoir jamais plaidé pour l’interdiction de toute la catégorie des modèles open weight
- Les modèles open weight dépourvus de capacités dangereuses sont un bien public qui apporte de la valeur aux entreprises, développeurs et chercheurs sans coût supplémentaire au-delà des ressources de calcul nécessaires à leur exécution
- Une interdiction protectionniste pourrait surtout protéger les entreprises américaines d’IA de la concurrence, sans répondre aux principales menaces pour la sécurité nationale
Deux menaces pour la sécurité nationale
-
La supériorité en IA des gouvernements autoritaires
- La plus grande inquiétude est qu’un gouvernement autoritaire, dont le Parti communiste chinois (PCC), développe des modèles d’IA plus puissants que ceux des États-Unis et s’en serve pour obtenir un avantage militaire durable ou pour opprimer sa population à un niveau extrême
- Le PCC n’est pas la seule menace, mais il est considéré comme la plus puissante parmi les gouvernements autoritaires
- Le gouvernement américain partage cette préoccupation
- Le vice-président Vance a averti que des régimes autoritaires avaient détourné et utilisé l’IA pour renforcer leurs capacités militaires, de renseignement et de surveillance
- L’Annual Threat Assessment 2026 estime que les progrès de l’IA réalisés par d’autres grandes puissances menacent la compétitivité économique et l’avantage de sécurité nationale des États-Unis
- Dans cette menace, le fait qu’un modèle soit open weight ou qu’il soit utilisé par une entreprise américaine n’est pas déterminant
- Les modèles les plus dangereux pourraient être ceux entraînés en secret, puis fournis uniquement aux drones de l’Armée populaire de libération ou aux dispositifs de surveillance et de répression du ministère de la Sécurité d’État
-
Attaques cyber et biologiques, et problèmes d’alignement
- La deuxième inquiétude est qu’un modèle d’IA puissant soit utilisé à mauvais escient pour des attaques cyber et biologiques ou provoque de graves problèmes d’alignement
- Indépendamment de leur pays d’origine, les modèles open weight peuvent présenter des risques potentiels plus élevés que les modèles fermés
- Il est très difficile d’appliquer des garde-fous aux modèles open weight ou d’en surveiller les usages
- Une fois les poids publiés, ils ne peuvent plus être retirés, et les garde-fous peuvent être supprimés
- Il est aussi possible de télécharger des copies, de les redistribuer ou de les exécuter sur des systèmes privés impossibles à surveiller
- Un rapport de l’UK AI Security Institute estime que la publication de modèles open weight dotés de capacités dangereuses crée un risque persistant et irréversible de mauvais usage
- Les entreprises américaines légitimes ont peu de chances d’être des acteurs malveillants ; interdire l’usage de tels modèles par des entreprises américaines ne permet donc pas d’empêcher directement ce risque
Contrôle des puces hautes performances et des équipements de fabrication
- Il faut empêcher la vente à la Chine de puces hautes performances et d’équipements de fabrication de puces, et réprimer la contrebande ainsi que les voies de contournement mobilisées pour se procurer ces puces
- La capacité de production nationale de la Chine étant limitée, Anthropic estime qu’en vertu des lois de scaling, il n’est pas possible de créer des modèles plus puissants que ceux des États-Unis sans puces américaines
- Le contrôle des puces constitue le moyen le plus efficace et le plus direct de bloquer la première menace, celle d’un gouvernement autoritaire construisant des modèles plus puissants que ceux des États-Unis
- Il peut aussi réduire indirectement les risques d’attaques cyber et biologiques et les risques d’alignement, en rendant plus difficile l’entraînement de modèles puissants hors du champ du droit américain
- Le ministère américain de la Justice a rendu publiques plusieurs affaires de tentative d’exportation illégale ou de contrebande de technologies d’IA avancées vers la Chine, et Anthropic demande un renforcement de la lutte contre ces moyens de contrebande et de contournement
Répression de la distillation à l’échelle industrielle
- La distillation de modèles est plus efficace en calcul que l’entraînement d’un modèle depuis zéro, ce qui permet à la Chine de produire de meilleurs modèles que ne le laisserait penser le volume de puces dont elle dispose, et de contourner partiellement les contrôles sur les puces
- La distillation seule ne permettrait pas au PCC d’atteindre ou de dépasser les capacités d’IA des États-Unis, mais elle pourrait rapprocher les modèles de frontier chinois à seulement quelques mois de retard sur ceux des États-Unis
- Même si de nombreuses entreprises pratiquant la distillation publient des modèles open weight, le point central n’est pas le mode de publication, mais le fait qu’un État autoritaire cherchant à dépasser la frontier américaine soutienne des opérations à l’échelle industrielle
- Plutôt qu’une interdiction générale des open weight, il faut des politiques, lois et mécanismes commerciaux ciblés pour freiner la distillation
- Anthropic identifie aussi et bloque les comptes qui utilisent ses modèles pour de la distillation à grande échelle
- Il arrive que les comptes concernés ne soient repérés qu’après qu’une part importante de la distillation a déjà eu lieu
- De nombreux faux comptes continuent d’être créés, ce qui renouvelle sans cesse les cibles de la répression
- Les mesures prises par une entreprise seule ne suffisent pas, d’où la nécessité d’une intervention publique
Tests de sécurité obligatoires fondés sur les capacités
- Tous les modèles suffisamment puissants, qu’ils soient publics ou fermés et quel que soit leur pays d’origine, doivent faire l’objet avant leur sortie de tests sur les risques cyber, biologiques et d’alignement
- L’administration Trump s’est récemment orientée dans cette direction, et une proposition du secteur inclut aussi l’application des mêmes tests aux modèles les plus puissants
- Les modèles de faible capacité développés par des startups et par le monde académique peuvent être totalement exclus des tests obligatoires
- Il ne faut pas décider à l’avance si le risque des modèles open est réellement plus élevé ni s’il est possible de l’atténuer ; cela doit être jugé à partir des résultats des tests
- Il existe aussi des approches susceptibles d’améliorer la sécurité des modèles open weight, comme l’étude d’Anthropic sur une stratégie d’entraînement modulaire
- Des tests de sécurité efficaces nécessitent une application internationale, ce qui suppose aussi la participation du PCC
- La prévention des armes biologiques fondées sur l’IA peut aussi servir les intérêts de la Chine, ce qui laisse envisager une coopération limitée dans ce domaine
En quoi Anthropic diffère de la lettre ouverte sur l’open weight
- Anthropic est d’accord avec certains points de la lettre ouverte Open Weights and American AI Leadership
- L’open weight élargit l’accès à l’économie de l’IA
- Il renforce la concurrence dans certains cas d’usage
- Il donne aux clients un plus grand contrôle
- Le problème de la distillation doit être traité par des cadres juridiques et commerciaux ciblés, et non par une interdiction générale
- En revanche, Anthropic n’adhère pas à l’idée que l’open weight facilite nécessairement le développement de garde-fous, ni à l’hypothèse selon laquelle un large accès aux capacités profiterait davantage aux défenseurs qu’aux attaquants
- En pratique, un large accès pourrait au contraire avantager les attaquants ; il faut donc le vérifier empiriquement pour déterminer quel camp bénéficie réellement d’un avantage
L’asymétrie entre attaquants et défenseurs en biologie
- Des modèles suffisamment puissants pourraient permettre de militariser rapidement, à partir de matériaux largement disponibles, un virus de niveau pandémique, alors que la défense pourrait rester, même dans le meilleur des cas, un défi opérationnel qui prend des années
- Comme l’a montré l’exemple d’Operation Warp Speed, la mise en place des technologies et des systèmes de réponse demande beaucoup de temps ; il pourrait donc exister en biologie un fort avantage structurel pour les attaquants
- Anthropic estime qu’aujourd’hui, ce qui empêche une catastrophe biologique tient moins aux limites des défenseurs ou des matériaux qu’à la corrélation négative entre les capacités intellectuelles et l’intention de causer des dommages catastrophiques
- Des technologies antérieures comme la recherche sur Internet ou la synthèse d’ADN n’étaient pas assez puissantes pour briser cette corrélation, mais l’IA pourrait bientôt y parvenir si son rythme de progression se maintient
- Si une technologie suffisamment puissante supprime toutes les barrières, on verra alors quel camp, des attaquants ou des défenseurs, dispose d’un avantage structurel ; en biologie, cet avantage pourrait revenir aux attaquants
- Ces risques doivent être évalués non par intuition ni par préjugé sur le mode de publication, mais par des tests rigoureux avant lancement
Les politiques demandées par Anthropic
- Ne pas interdire les modèles open weight en les traitant comme une seule catégorie
- Renforcer les contrôles à l’exportation et la lutte contre la contrebande afin d’empêcher les gouvernements autoritaires d’obtenir des puces hautes performances et des équipements de fabrication
- Bloquer la distillation de modèles à l’échelle industrielle par des moyens juridiques, commerciaux et réglementaires
- Rendre obligatoires des tests sur les risques cyber, biologiques et d’alignement pour tous les modèles publics et fermés disposant de capacités suffisantes
3 commentaires
Une fois tous les tokens que j’ai achetés épuisés, je crois qu’on ne se reverra plus. Adios.
C’est vraiment surprenant de faire du lobbying en coulisses tout en se disant favorable à l’open source. J’ai l’impression que si Anthropic atteint l’AGI, ils finiront par devenir Arasaka.
Avis sur Hacker News
Dire que « tout modèle suffisamment capable doit être soumis à des contrôles de sécurité obligatoires » revient en pratique à défendre l’interdiction des modèles à poids ouverts.
Qui réalise ces contrôles, et que se passe-t-il si leur coût est prohibitif ou si l’administrateur refuse certains participants ? Les États-Unis ont déjà interdit des produits par le passé en rendant obligatoire un tampon de certification puis en refusant de le délivrer.
L’impact économique serait important, mais l’effet sur la sécurité semble minime. L’argument le plus convaincant serait sans doute que restreindre l’usage des modèles à poids ouverts aux États-Unis pourrait réduire des incidents comme les attaques récentes sur Hugging Face, mais il serait difficile pour le gouvernement de faire réellement appliquer ces exigences de contrôle.
Il est pratiquement impossible pour un modèle à poids ouverts de satisfaire aux mêmes critères de sécurité qu’un modèle fourni via API, et même un créateur qui le souhaiterait ne pourrait pas s’y conformer. Le blocage IP et les contrôles à l’exportation peuvent limiter l’accès et les capacités d’inférence, mais ils ne sont pas efficaces pour dissuader les acteurs malveillants.
Si un modèle « de niveau Mythos » est si dangereux, autant lui faire corriger le code de tout le monde. Il y a tout au plus des millions à quelques dizaines de millions d’entreprises logicielles, de services et de projets libres/open source actifs dans le monde ; on pourrait donc donner à chacun 100 dollars de crédits Fable/Mythos pour l’aider à corriger son code.
Avec 100 millions à 1 milliard de dollars, Anthropic pourrait mener la plus grande campagne publicitaire de l’histoire de l’humanité tout en renforçant la sécurité mondiale. La plupart des gens ne sont pas malveillants, et s’ils sont ingénieurs, consultants, fondateurs, chefs d’entreprise ou mainteneurs, ils voudront probablement utiliser Mythos pour corriger leur propre code.
Enfermer ce genre de capacité derrière des guichets d’autorisation et des portes closes causera plus de dommages à long terme, et créera un monde asymétrique où ceux qui ont l’accès décident de qui peut être en sécurité. Si tout le monde a Mythos, personne ne détient un « Mythos » exclusif ; il faut donc simplement laisser les gens corriger leur code.
Les modèles récents ne font appel qu’à des évaluateurs externes fermés comme Gray Swan, dont les tests internes ou l’activité entière dépendent de ces deux entreprises, et ces sociétés se partagent le même vivier de chercheurs.
La Chine est traitée comme une Chine de Schrödinger : à la fois une menace qui veut utiliser l’IA à des fins maléfiques, et un pays qui coopérera avec son rival américain pour empêcher d’autres acteurs non identifiés d’atteindre les mêmes objectifs.
La réalité est simple. Le CEO d’Anthropic ne veut pas que des modèles comparables ou supérieurs à ses modèles fermés et coûteux soient largement diffusés et nuisent à ses revenus.
Le seul actif vraiment particulier d’Anthropic et des autres entreprises de modèles est leur accès privilégié aux puces ; il est donc naturel qu’elles cherchent à limiter quels modèles peuvent exister et qui peut en créer de nouveaux. Sans réglementation, ce n’est qu’une question de temps avant que des centaines de milliards de dollars de valorisation ne disparaissent.
J’aurais eu plus de respect s’ils étaient restés silencieux. Alors qu’il est évident que les modèles ouverts peuvent déclencher une concurrence intense ou détruire leur base de revenus, ils présentent comme une supériorité morale une tentative de monopoliser le pouvoir sur tout travail humain.
À mon avis, le choix de la Chine de publier en open source ses innovations en IA afin de contenir la bulle de l’IA, ou de la faire éclater plus vite, était excellent et conforme à ses intérêts nationaux.
Dans le premier paragraphe, il dit que les interdictions ne sont pas utiles, puis plus loin qu’il faut sévir contre la contrebande et les contournements permettant à la Chine d’obtenir des puces.
La croyance selon laquelle les interdictions ne fonctionnent pas devrait s’appliquer de la même manière au matériel.
Les trois mesures soutenues par Dario sont l’interdiction de vendre des puces à la Chine, la répression de la distillation, et les contrôles de sécurité obligatoires pour tous les modèles performants ; par coïncidence, elles servent toutes les intérêts commerciaux d’Anthropic. Si Anthropic avait publié ne serait-ce qu’un modèle à poids ouverts, ce serait beaucoup plus convaincant.
Quelqu’un qui, jusqu’à hier, ne semblait pas se soucier que sa technologie puisse servir à bombarder des écoles de filles dans un autre pays se met soudain à s’inquiéter de l’oppression des citoyens d’un autre pays.
Ces postures morales et ces sermons condescendants sur le « scénario cauchemardesque » de l’année sont difficiles à croire.
Il est pro-israélien, mais n’a jamais abordé le risque que le gouvernement israélien utilise l’IA pour contrôler et opprimer les citoyens d’autres pays ; il coopère aussi activement avec Palantir, dont les objectifs explicites incluent le contrôle des populations, la répression et la construction d’un État de surveillance.
La Corée du Nord, le régime le plus répressif au monde, y parvient très bien sans IA. Si l’on expliquait à des Chinois l’idée de Dario selon laquelle DeepSeek ou Kimi les oppriment, ils en riraient probablement.
Je ne me souviens pas d’une entreprise passée aussi vite du statut de poule aux œufs d’or à celui d’entité indéfinissable
L’attitude défensive permanente qui sous-tend les prises de parole de Dario me fait même perdre toute envie de faire confiance aux produits d’Anthropic ou d’en dépendre. Je ne comprends même pas qui ce texte était censé convaincre, et Anthropic semble avoir besoin d’une remise en ordre
C’est une posture ambiguë visant à ménager tous ceux qui ont adopté une position plus claire, mais le résultat est franchement mauvais
En gros : le Parti communiste chinois maléfique représente une grande menace pour la paix mondiale et le bien, donc il faudrait remettre tout l’argent et toutes les données de tokens d’entrée à Palantir au nom d’un ordre international fondé sur des règles, dans lequel les forces du bien prospèrent et où l’on élimine les biologistes des tortues corrompus
https://www.theguardian.com/world/2026/jun/20/mona-khalil-tu...
Le raisonnement revient finalement à dire : « cette technologie est trop dangereuse, donc nous seuls devons y avoir accès, et comme nous sommes du bon côté, nous pouvons en garantir un usage sûr »
Mais qui surveille les surveillants ?
Si l’on soutient la diffusion totale des modèles ouverts, que faire des modèles à poids ouverts dotés de capacités en armes biologiques et en cyberattaque ?
Faut-il accepter de donner de tels outils aux attaquants comme le prix de la liberté ? L’incident OpenAI/Hugging Face a montré les capacités d’un modèle non contraint de niveau GPT 5.6, et dans environ six mois, les modèles à poids ouverts atteindront ce niveau, permettant à tous les acteurs malveillants de mener des attaques de même ampleur
Préférer l’ouverture est rationnel, mais être systématiquement pour en toute circonstance sans réfléchir sérieusement aux effets de bord est extrêmement naïf
Hugging Face n’avait pas accès à des modèles de pointe dotés de capacités cyber, se heurtait constamment aux garde-fous, et n’a pu survivre à l’attaque qu’après avoir utilisé le modèle open source GLM-5.2. Si les modèles open source sont interdits, les organisations qui ne figurent pas sur les listes d’autorisation d’OpenAI ou d’Anthropic ne pourront pas assurer leur cybersécurité
Il y aura certes une période de risque douloureuse, où du code n’ayant pas reçu ce type d’analyse pendant plus de 30 ans sera soudain examiné par l’équivalent d’un million de « taviso », mais les développeurs et les défenseurs pourront utiliser les mêmes outils. Même avec l’asymétrie liée au coût plus élevé de la défense, il s’agit d’une course aux armements qui se stabilisera, et il est probable qu’à terme la vérification formelle des propriétés de sécurité se généralise, les mêmes modèles continuant à en faire baisser le coût
La distillation et les modèles à poids ouverts ne vont pas disparaître, et il n’existe quasiment aucun moyen de les interdire ou de les contrôler efficacement. Des outils en self-service pourraient même apparaître pour permettre à des non-spécialistes de distiller et maintenir eux-mêmes leurs propres modèles de pointe dotés de capacités en sécurité de l’information
Si vous êtes défenseur, le mieux est de partir de ce principe ; même si l’on débat de l’autorisation ou non, aucun régime d’application mondial n’émergera dans ce délai
Le fait que ce soit ouvert ou fermé n’a pas grande importance ; même si les garde-fous actuels penchent vers les faux positifs, des modèles fermés peuvent déjà causer des dommages cyber importants
Le seul contrôle efficace consiste à mettre tout le monde sur un pied d’égalité en donnant aux attaquants et aux défenseurs accès aux mêmes capacités. Si l’on crée, comme le propose Dario, des portiques que les attaquants contournent mais que les défenseurs ne peuvent pas franchir, on ne fera que garantir le chaos
Ce que Dario continue de manquer, c’est que les gens ne font plus confiance aux États-Unis pour créer une IA alignée
Toute sa stratégie repose sur l’hypothèse que les États-Unis et leur gouvernement sont exceptionnellement vertueux, mais cela paraît manifestement faux au reste du monde
Selon lui, les règles de sécurité et de morale du monde entier devraient être écrites uniquement par les États-Unis ; dans la même interview, il a soutenu la politique étrangère américaine et qualifié la Chine de « régime agressif et belliciste »
De plus en plus d’Américains voient cela comme faux, mais l’oligarchie étant la principale bénéficiaire de la politique du gouvernement américain, la propagande continuera
Je comprends la logique d’Anthropic qui pousse le développement tout en réclamant des pauses et de la régulation, tout comme je comprends qu’un individu puisse vouloir ralentir tout en ayant des raisons de continuer à travailler dans une entreprise d’IA
Mais si tout le monde pense ainsi, la concurrence continue de s’intensifier pendant qu’on attend un consensus qui pourrait ne jamais venir, rien ne change, et les incitations économiques justifient la poursuite de l’effort par tous les acteurs
J’aimerais voir émerger en interne des actions plus concrètes. Quand le jugement devient trop complexe, il faut revenir aux principes de base. Si vous pensez que l’IA progresse trop vite, arrêtez le développement ; si une entreprise d’IA veut une pause, qu’elle commence par s’arrêter elle-même pour montrer l’exemple
D’autres entreprises pourraient suivre, et celles qui ne le feraient pas paraîtraient irresponsables. Celui qui a décidé de ne plus pécher doit être le premier à poser sa pierre