OpenAI, à propos de l’accord conclu avec le département américain de la Défense

• A conclu un accord avec le département américain de la Défense (DoD) sur le déploiement de systèmes d’IA avancés dans des environnements classifiés, et demande que les mêmes conditions s’appliquent à toutes les entreprises d’IA
• L’accord définit trois lignes rouges : ne pas utiliser la technologie d’OpenAI pour la surveillance intérieure de masse, le contrôle direct de systèmes d’armes autonomes et la prise de décision automatisée à haut risque
• Adopte un modèle de déploiement cloud uniquement, dans lequel OpenAI conserve une discrétion totale sur la stack de sécurité, avec des membres du personnel OpenAI habilités à intervenir dans la boucle
• Affirme disposer de garde-fous plus stricts que dans des accords existants, notamment chez Anthropic, et exclut le déploiement sur des edge devices afin d’empêcher tout usage dédié aux armes autonomes
• Souligne la nécessité de bâtir un cadre de coopération démocratique entre entreprises d’IA et gouvernement, et demande aussi à l’État de résoudre les tensions avec Anthropic

---

Contexte et objectif de l’accord

• OpenAI a conclu un accord avec le département américain de la Défense sur le déploiement de systèmes d’IA avancés dans des environnements classifiés, et a demandé que les mêmes conditions soient proposées à toutes les entreprises d’IA
• L’entreprise estime qu’au vu de l’importance de l’IA, une coopération étroite entre les processus démocratiques et la recherche en IA est nécessaire
• L’idée est que les personnes chargées de défendre les États-Unis doivent disposer des meilleurs outils, tout en reconnaissant que cette technologie peut aussi créer de nouveaux risques à l’échelle mondiale

Trois lignes rouges

• Interdiction d’utiliser la technologie d’OpenAI pour la surveillance intérieure de masse (mass domestic surveillance)
• Interdiction d’utiliser la technologie d’OpenAI pour le contrôle direct de systèmes d’armes autonomes (autonomous weapons systems)
• Interdiction d’utiliser la technologie d’OpenAI pour la prise de décision automatisée à haut risque (par exemple, les systèmes de crédit social)
• Contrairement à d’autres laboratoires d’IA qui réduisent ou suppriment les garde-fous de sécurité et s’appuient uniquement sur des politiques d’usage, OpenAI défend une approche de protection multicouche, jugée plus efficace

Éléments clés de l’accord

• Architecture de déploiement

  • Déploiement cloud uniquement, incluant une stack de sécurité exploitée directement par OpenAI
  • Aucun modèle sans garde-fous ni modèle non entraîné à la sécurité ne sera fourni
  • Exclusion du déploiement sur edge devices afin d’empêcher toute utilisation potentielle dans des armes létales autonomes
  • Il est possible de vérifier de manière indépendante si les lignes rouges sont enfreintes, ainsi que d’exécuter et de mettre à jour des classificateurs (classifiers)

• Clauses contractuelles

  • Le département de la Défense peut utiliser le système d’IA pour tout objectif légal conforme aux lois applicables, aux exigences opérationnelles et aux protocoles établis de sécurité et de supervision
  • Il ne peut pas être utilisé pour commander de manière indépendante des armes autonomes lorsque la loi, la réglementation ou la politique du département exigent un contrôle humain
  • Conformément à DoD Directive 3000.09 (datée du 25 janvier 2023), l’usage de l’IA dans les systèmes autonomes et semi-autonomes doit faire l’objet, avant déploiement, d’une vérification, d’une validation et de tests rigoureux dans des environnements réalistes
  • Lors d’activités de renseignement, le traitement des données personnelles doit respecter le 4e amendement, le National Security Act (1947), le Foreign Intelligence Surveillance Act (1978), l’Executive Order 12333 et les directives concernées du département de la Défense
  • Interdiction de toute surveillance illimitée des données personnelles de citoyens américains
  • L’usage dans des activités de maintien de l’ordre sur le territoire national n’est autorisé que dans les cas permis par le Posse Comitatus Act et les autres lois applicables

• Participation d’experts IA

  • Des ingénieurs OpenAI habilités sécurité seront déployés en appui direct auprès du gouvernement
  • Des chercheurs en sécurité et en alignement (alignment) disposant d’une habilitation participeront à la boucle

Principaux points de la FAQ

• Pourquoi conclure cet accord ?

  • L’armée américaine a besoin de modèles d’IA puissants pour faire face à la menace que représente l’intégration de l’IA par des États adverses potentiels
  • OpenAI n’a pas signé immédiatement, estimant au départ que les dispositifs et systèmes de sécurité pour un déploiement classifié n’étaient pas prêts, puis a préparé les conditions permettant de respecter les lignes rouges
  • Pour OpenAI, retirer des garde-fous techniques essentiels afin d’améliorer les performances dans les missions de sécurité nationale n’est pas la bonne approche
  • L’objectif est aussi d’apaiser les tensions entre le département de la Défense et les laboratoires américains d’IA, en demandant que les mêmes conditions soient offertes à tous, et en particulier que le gouvernement résolve les problèmes avec Anthropic

• Comparaison avec Anthropic

  • OpenAI estime que son accord offre de meilleures garanties et des protections plus responsables que l’accord existant d’Anthropic
  • Le déploiement cloud uniquement (et non sur edge), le maintien de sa propre stack de sécurité et la présence de personnel OpenAI habilité rendent les lignes rouges plus applicables
  • OpenAI dit ne pas savoir pourquoi Anthropic n’a pas pu conclure cet accord, mais espère qu’Anthropic et d’autres laboratoires l’envisageront

• Désignation d’Anthropic comme « supply chain risk »

  • OpenAI s’oppose à la désignation d’Anthropic comme « supply chain risk » et a clairement fait connaître cette position au gouvernement

• Possibilité d’armes autonomes

  • Sur la base de la stack de sécurité, du déploiement cloud uniquement, du texte du contrat et des lois, réglementations et politiques existantes, le système ne peut pas être utilisé pour des armes autonomes
  • La participation de personnel OpenAI dans la boucle fournit une garantie supplémentaire

• Possibilité de surveillance de masse

  • Compte tenu de la stack de sécurité, du texte du contrat et des lois existantes qui limitent fortement la surveillance intérieure par le département de la Défense, le système ne peut pas être utilisé pour de la surveillance de masse

• Déploiement sans stack de sécurité

  • OpenAI conserve un contrôle total sur la stack de sécurité et ne déploie pas ses systèmes sans garde-fous de sécurité
  • Contrairement à d’autres laboratoires d’IA qui réduisent les garde-fous de leurs modèles et s’appuient principalement sur des politiques d’usage, OpenAI juge son approche multicouche plus efficace

• En cas de violation du contrat par le gouvernement

  • Comme pour tout contrat, si l’autre partie enfreint les conditions, il est possible d’y mettre fin

• En cas de changement des lois ou des politiques

  • Le contrat fait explicitement référence aux lois et politiques actuelles concernant la surveillance et les armes autonomes
  • Même si les lois ou les politiques évoluent à l’avenir, l’usage du système devra rester conforme au standard actuel intégré au contrat

Réponse au billet de blog d’Anthropic

• OpenAI dit partager les deux lignes rouges avancées par Anthropic — surveillance intérieure de masse et armes totalement autonomes — et y ajoute une troisième ligne rouge : la prise de décision automatisée à haut risque
• Surveillance intérieure de masse : au cours des échanges, il était clair que le département de la Défense considérait cela comme illégal et n’envisageait pas un tel usage ; le contrat l’indique explicitement comme ne relevant pas d’un usage légal
• Armes totalement autonomes : dans l’environnement de déploiement cloud prévu par le contrat, il n’est pas possible de faire fonctionner des armes totalement autonomes, car cela nécessiterait un déploiement en edge
• En plus de ces protections, OpenAI met en avant des protections multicouches supplémentaires via sa stack de sécurité et la participation, dans la boucle, d’experts techniques OpenAI

[GN⁺]

Réactions sur Hacker News

• D’après mon interprétation, le contrat entre OpenAI et le département de la Défense semble interdire la surveillance de masse des citoyens américains, mais en réalité cela signifie seulement qu’elle est limitée à ce qui est déjà interdit par la loi
  Autrement dit, j’y lis aussi que le DoD pourrait acheter en masse à des entreprises privées des données comme la localisation ou les transactions financières, puis les analyser avec les outils d’OpenAI
  Il me semble que le contrat d’Anthropic ne contenait pas ce genre de clause
  Si c’est vrai, c’est terrible. Mais comme j’ai récemment tiré des conclusions trop hâtives à plusieurs reprises, je suspends mon jugement cette fois-ci
  (Pour référence, je suis un ancien employé d’OpenAI et actionnaire actuel)

  • OpenAI ne semble plus être une entreprise légitime pour parler d’éthique
    Contrairement à l’époque où elle était à but non lucratif, elle a maintenant modifié deux fois sa politique de confidentialité pour collecter davantage de mes données
    Le processus pour désactiver ces réglages est aussi compliqué, rempli de dark patterns. La fonction de téléchargement des données ne marche pratiquement pas
  • Cela veut littéralement dire : « on ne suit que les restrictions déjà inscrites dans la loi »
    Un exemple typique de « weasel language » selon Dario
  • Au fond, le problème, c’est la Third Party Doctrine
    Si ce principe disparaissait, la plupart de ces scénarios cauchemardesques disparaîtraient aussi
  • Les gens oublient souvent que la surveillance façon NSA s’accompagne toujours d’une note disant qu’elle est « légale »
  • La phrase elle-même est beaucoup trop confuse
    L’expression « Shall not be used as consistent with these authorities » est grammaticalement étrange
    On dirait que les juristes l’ont rédigée volontairement de manière ambiguë pour laisser de la marge à une interprétation RP

• La formule « The Department of War may use the AI System for all lawful purposes… » signifie en fin de compte que tout usage est permis tant que la loi l’autorise
  Anthropic a essayé d’appliquer ses propres critères moraux, alors qu’OpenAI a simplement accepté les demandes du gouvernement
  Personnellement, je peux comprendre les deux positions, mais l’attitude du gouvernement envers Anthropic a été malveillante et contraire même aux intérêts des États-Unis

  • Un contrat dit en gros « il ne faut pas construire Terminator », et l’autre dit « si le service juridique valide, on peut construire Terminator ». La différence est énorme
  • C’est le mot « lawful » qui porte tout le raisonnement
    Le gouvernement fait déjà ouvertement des choses illégales, et personne ne sait ce qui se passe en secret
    Au fond, la position d’Anthropic reposait sur une posture morale selon laquelle on ne peut pas faire confiance au gouvernement
  • Si on lit attentivement la formulation, le DoD peut utiliser le modèle pour n’importe quel usage dès lors qu’il le juge « légal »
    Et c’est aussi lui qui peut changer les règles
    Soit Sam Altman est naïf, soit il veut nous le faire croire
  • Ce n’est même pas cohérent avec la position antérieure selon laquelle la technologie d’OpenAI ne serait pas utilisée dans des systèmes d’armes autonomes
  • Il suffit d’imaginer une situation où l’on recommande de tirer sur un combattant en détresse pendant une guerre
    Ce serait clairement un crime de guerre, mais qui déciderait de la « légalité » ? OpenAI, le secrétaire à la Défense, ou un juge ?

• L’expression « toutes les finalités légalement autorisées » veut dire en pratique que ceux qui font la loi ne se limitent pas eux-mêmes

  • Dans le cas de la surveillance de masse, il faudrait même un amendement constitutionnel, donc c’est plus complexe qu’un simple changement de loi
    Mais si l’on aide le gouvernement en sachant que c’est illégal, cela peut relever de la complicité. Le gouvernement peut être immunisé, pas forcément OpenAI
  • En plus, le gouvernement peut édicter et appliquer des règles en secret
  • Il y a aussi eu une réaction sarcastique du genre : « Tu veux dire qu’on ne peut pas faire confiance à la parole d’un escroc condamné ? »

• Je ne pense pas qu’Anthropic soit un parfait saint moral
  Pas plus que ChatGPT
  Mais à l’heure actuelle, résilier ChatGPT pour passer à Claude est une manière de montrer le message que je veux envoyer

  • Il est important de montrer cette volonté de partir
    Si les utilisateurs montrent qu’ils quittent immédiatement une plateforme dès qu’une controverse éclate, les entreprises feront plus attention
  • Et en plus, en ce moment, Claude est bien meilleur en performance que ChatGPT
  • J’aimerais essayer Claude comme remplaçant de la recherche web classique. Par exemple pour des questions simples comme des recettes ou des avis produits
  • À long terme, je pense que les modèles à poids ouverts finiront par être les meilleurs
    Le fait qu’Anthropic n’ait pas cédé cette fois est remarquable
    Les GPU manquent, mais moi aussi je vais arrêter ChatGPT pour passer à Claude ou Kimi

• Au final, même si des employés adoptent une position morale, cela ne sert à rien s’ils n’ont pas le pouvoir de décider
  Leur seule vraie force, c’est de partir

  • Mais si des départs collectifs se produisent, là cela devient une force énorme
  • En réalité, c’est exactement pour prévenir ce genre de situation que les syndicats existent
    Si les ingénieurs clés s’arrêtent collectivement, Sam Altman ne peut pas maintenir l’entreprise à lui seul
  • Les employés d’OpenAI avaient déjà le pouvoir de faire revenir Sam Altman quand il a été évincé il y a deux ans
  • Si les employés se serrent les coudes, ils peuvent aussi arrêter l’entreprise. Mais il est difficile d’attendre une telle culture de solidarité dans un endroit comme OpenAI

• OpenAI est en train de se défausser de sa responsabilité morale en disant en substance : « déléguons la responsabilité morale de l’IA à la loi »

• Si des employés d’OpenAI avec un patrimoine net supérieur à 2 millions de dollars y restent encore, c’est que leur boussole morale est cassée
  Cela ne vaut désormais guère mieux que travailler chez Palantir ou xAI

  • Il y a même eu une réponse moqueuse du style : « Je pleurerai sur mon oreiller d’argent, bien sûr de manière éthique »

• La formule « peut être utilisé pour toute finalité légale » signifie au fond que le DoD a obtenu ce qu’il voulait en s’appuyant sur une régulation insuffisante

• Ce billet de blog donne une impression encore pire de la situation
  Il ne trace pas clairement de ligne rouge sur les usages controversés qu’Anthropic avait refusés
  Il dit seulement que c’est possible dans les cas « légaux et testés »
  Cela rappelle IBM vendant des machines à l’Allemagne dans les années 1930 en disant ensuite « nous ne savions pas »
  Au fond, ce que voulait l’armée, c’était les armes autonomes et la surveillance de masse, ainsi que d’autres usages légalement permis mais moralement dans une zone grise