OpenAI, à propos de l’accord conclu avec le département américain de la Défense

• A conclu un accord avec le département américain de la Défense (DoD) sur le déploiement de systèmes d’IA avancés dans des environnements classifiés, et demande que les mêmes conditions s’appliquent à toutes les entreprises d’IA
• L’accord définit trois lignes rouges : ne pas utiliser la technologie d’OpenAI pour la surveillance intérieure de masse, le contrôle direct de systèmes d’armes autonomes et la prise de décision automatisée à haut risque
• Adopte un modèle de déploiement cloud uniquement, dans lequel OpenAI conserve une discrétion totale sur la stack de sécurité, avec des membres du personnel OpenAI habilités à intervenir dans la boucle
• Affirme disposer de garde-fous plus stricts que dans des accords existants, notamment chez Anthropic, et exclut le déploiement sur des edge devices afin d’empêcher tout usage dédié aux armes autonomes
• Souligne la nécessité de bâtir un cadre de coopération démocratique entre entreprises d’IA et gouvernement, et demande aussi à l’État de résoudre les tensions avec Anthropic

---

Contexte et objectif de l’accord

• OpenAI a conclu un accord avec le département américain de la Défense sur le déploiement de systèmes d’IA avancés dans des environnements classifiés, et a demandé que les mêmes conditions soient proposées à toutes les entreprises d’IA
• L’entreprise estime qu’au vu de l’importance de l’IA, une coopération étroite entre les processus démocratiques et la recherche en IA est nécessaire
• L’idée est que les personnes chargées de défendre les États-Unis doivent disposer des meilleurs outils, tout en reconnaissant que cette technologie peut aussi créer de nouveaux risques à l’échelle mondiale

Trois lignes rouges

• Interdiction d’utiliser la technologie d’OpenAI pour la surveillance intérieure de masse (mass domestic surveillance)
• Interdiction d’utiliser la technologie d’OpenAI pour le contrôle direct de systèmes d’armes autonomes (autonomous weapons systems)
• Interdiction d’utiliser la technologie d’OpenAI pour la prise de décision automatisée à haut risque (par exemple, les systèmes de crédit social)
• Contrairement à d’autres laboratoires d’IA qui réduisent ou suppriment les garde-fous de sécurité et s’appuient uniquement sur des politiques d’usage, OpenAI défend une approche de protection multicouche, jugée plus efficace

Éléments clés de l’accord

• Architecture de déploiement

  • Déploiement cloud uniquement, incluant une stack de sécurité exploitée directement par OpenAI
  • Aucun modèle sans garde-fous ni modèle non entraîné à la sécurité ne sera fourni
  • Exclusion du déploiement sur edge devices afin d’empêcher toute utilisation potentielle dans des armes létales autonomes
  • Il est possible de vérifier de manière indépendante si les lignes rouges sont enfreintes, ainsi que d’exécuter et de mettre à jour des classificateurs (classifiers)

• Clauses contractuelles

  • Le département de la Défense peut utiliser le système d’IA pour tout objectif légal conforme aux lois applicables, aux exigences opérationnelles et aux protocoles établis de sécurité et de supervision
  • Il ne peut pas être utilisé pour commander de manière indépendante des armes autonomes lorsque la loi, la réglementation ou la politique du département exigent un contrôle humain
  • Conformément à DoD Directive 3000.09 (datée du 25 janvier 2023), l’usage de l’IA dans les systèmes autonomes et semi-autonomes doit faire l’objet, avant déploiement, d’une vérification, d’une validation et de tests rigoureux dans des environnements réalistes
  • Lors d’activités de renseignement, le traitement des données personnelles doit respecter le 4e amendement, le National Security Act (1947), le Foreign Intelligence Surveillance Act (1978), l’Executive Order 12333 et les directives concernées du département de la Défense
  • Interdiction de toute surveillance illimitée des données personnelles de citoyens américains
  • L’usage dans des activités de maintien de l’ordre sur le territoire national n’est autorisé que dans les cas permis par le Posse Comitatus Act et les autres lois applicables

• Participation d’experts IA

  • Des ingénieurs OpenAI habilités sécurité seront déployés en appui direct auprès du gouvernement
  • Des chercheurs en sécurité et en alignement (alignment) disposant d’une habilitation participeront à la boucle

Principaux points de la FAQ

• Pourquoi conclure cet accord ?

  • L’armée américaine a besoin de modèles d’IA puissants pour faire face à la menace que représente l’intégration de l’IA par des États adverses potentiels
  • OpenAI n’a pas signé immédiatement, estimant au départ que les dispositifs et systèmes de sécurité pour un déploiement classifié n’étaient pas prêts, puis a préparé les conditions permettant de respecter les lignes rouges
  • Pour OpenAI, retirer des garde-fous techniques essentiels afin d’améliorer les performances dans les missions de sécurité nationale n’est pas la bonne approche
  • L’objectif est aussi d’apaiser les tensions entre le département de la Défense et les laboratoires américains d’IA, en demandant que les mêmes conditions soient offertes à tous, et en particulier que le gouvernement résolve les problèmes avec Anthropic

• Comparaison avec Anthropic

  • OpenAI estime que son accord offre de meilleures garanties et des protections plus responsables que l’accord existant d’Anthropic
  • Le déploiement cloud uniquement (et non sur edge), le maintien de sa propre stack de sécurité et la présence de personnel OpenAI habilité rendent les lignes rouges plus applicables
  • OpenAI dit ne pas savoir pourquoi Anthropic n’a pas pu conclure cet accord, mais espère qu’Anthropic et d’autres laboratoires l’envisageront

• Désignation d’Anthropic comme « supply chain risk »

  • OpenAI s’oppose à la désignation d’Anthropic comme « supply chain risk » et a clairement fait connaître cette position au gouvernement

• Possibilité d’armes autonomes

  • Sur la base de la stack de sécurité, du déploiement cloud uniquement, du texte du contrat et des lois, réglementations et politiques existantes, le système ne peut pas être utilisé pour des armes autonomes
  • La participation de personnel OpenAI dans la boucle fournit une garantie supplémentaire

• Possibilité de surveillance de masse

  • Compte tenu de la stack de sécurité, du texte du contrat et des lois existantes qui limitent fortement la surveillance intérieure par le département de la Défense, le système ne peut pas être utilisé pour de la surveillance de masse

• Déploiement sans stack de sécurité

  • OpenAI conserve un contrôle total sur la stack de sécurité et ne déploie pas ses systèmes sans garde-fous de sécurité
  • Contrairement à d’autres laboratoires d’IA qui réduisent les garde-fous de leurs modèles et s’appuient principalement sur des politiques d’usage, OpenAI juge son approche multicouche plus efficace

• En cas de violation du contrat par le gouvernement

  • Comme pour tout contrat, si l’autre partie enfreint les conditions, il est possible d’y mettre fin

• En cas de changement des lois ou des politiques

  • Le contrat fait explicitement référence aux lois et politiques actuelles concernant la surveillance et les armes autonomes
  • Même si les lois ou les politiques évoluent à l’avenir, l’usage du système devra rester conforme au standard actuel intégré au contrat

Réponse au billet de blog d’Anthropic

• OpenAI dit partager les deux lignes rouges avancées par Anthropic — surveillance intérieure de masse et armes totalement autonomes — et y ajoute une troisième ligne rouge : la prise de décision automatisée à haut risque
• Surveillance intérieure de masse : au cours des échanges, il était clair que le département de la Défense considérait cela comme illégal et n’envisageait pas un tel usage ; le contrat l’indique explicitement comme ne relevant pas d’un usage légal
• Armes totalement autonomes : dans l’environnement de déploiement cloud prévu par le contrat, il n’est pas possible de faire fonctionner des armes totalement autonomes, car cela nécessiterait un déploiement en edge
• En plus de ces protections, OpenAI met en avant des protections multicouches supplémentaires via sa stack de sécurité et la participation, dans la boucle, d’experts techniques OpenAI