OpenAI : « Anthropic ne doit pas être désignée comme un risque pour la chaîne d’approvisionnement »

• OpenAI a conclu un contrat avec le Department of War pour déployer des systèmes d’IA avancés dans des environnements classifiés, et demande que ce cadre s’applique de la même manière à toutes les entreprises d’IA
• L’entreprise affirme que ce contrat inclut davantage de garde-fous de sécurité que les déploiements d’IA classifiés existants
• Elle fixe des lignes rouges interdisant l’usage de la technologie d’OpenAI pour la surveillance intérieure de masse, le pilotage d’armes autonomes et la prise de décision automatisée à haut risque
• OpenAI conserve une pleine latitude sur sa pile de sécurité, maintient un déploiement basé sur le cloud, prévoit l’intervention de personnels habilités de sécurité et applique de solides protections contractuelles
• OpenAI a clairement indiqué au Department of War qu’Anthropic ne doit pas être désignée comme un risque pour la chaîne d’approvisionnement

---

Signature d’un contrat avec le Department of War

• OpenAI a conclu un contrat avec le Department of War pour déployer des systèmes d’IA avancés dans des environnements classifiés
  • L’entreprise demande que ce type de déploiement soit proposé dans les mêmes conditions à toutes les entreprises d’IA
• Ce contrat inclut davantage de dispositifs de sécurité que les précédents contrats de déploiement d’IA classifiée

Maintien des lignes rouges

• La technologie d’OpenAI ne sera pas utilisée pour la surveillance intérieure de masse
• La technologie d’OpenAI ne sera pas utilisée pour le pilotage de systèmes d’armes autonomes
• La technologie d’OpenAI ne sera pas utilisée pour des systèmes de décision automatisée à haut risque (ex. : social credit)

Une architecture de protection multicouche

• Cela contraste avec certains laboratoires d’IA qui, dans les déploiements liés à la sécurité nationale, ont réduit ou supprimé les protections centrées sur les politiques d’usage
• OpenAI applique une approche multicouche étendue
  • Pleine latitude conservée sur la pile de sécurité
  • Maintien d’un mode de déploiement basé sur le cloud
  • Intervention de personnels OpenAI disposant d’une habilitation de sécurité
  • Inclusion de solides protections contractuelles
  • En complément des protections déjà prévues par le droit américain

Position concernant Anthropic

• OpenAI s’oppose à la désignation d’Anthropic comme risque pour la chaîne d’approvisionnement
• L’entreprise a clairement communiqué cette position au Department of War

[kayws426]

Je pense qu’il faudrait remettre en ordre la chronologie de cette affaire. On dit aussi qu’OpenAI était en pleine négociation contractuelle, non ?

[kentakang]

C’est la première fois que je vois une erreur de résumé indiquant qu’il n’y a pas de contenu..

[xguru]

Il semble que cela arrive dans les cas où x devient un peu délicat à crawler. Nous allons essayer d’améliorer cela.

[kentakang]

Je vous lis toujours avec beaucoup d’intérêt, merci.

[GN⁺]

Avis sur Hacker News

• Le point essentiel, c’est l’écart entre la formulation réelle du contrat d’OpenAI et ce qu’Altman affirme
  Le contrat dit en substance : « ne pas utiliser pour l’exploitation d’armes autonomes lorsque la loi ou la politique exige un contrôle humain »
  Autrement dit, si le Département de la Défense décide qu’« aucun contrôle humain n’est nécessaire », cela devient possible tel quel
  Anthropic avait posé une interdiction absolue du type « aucune surveillance de masse, jamais », alors qu’OpenAI a assoupli cela en mode « possible si la loi l’autorise »
  Signer un tel contrat puis faire semblant de défendre Anthropic ressemble à un numéro de relations publiques assez rare dans le secteur

  • À mon avis, ce type de comportement de la part d’Altman correspond à un schéma classique déjà visible lors de son précédent éviction
  • Ils ont formulé cela comme « la surveillance de masse des Américains est interdite », mais au final l’interprétation reste beaucoup trop ouverte

• Dans ce fil X, OpenAI affirme que son contrat avec le Département de la Défense respecte ses lignes rouges
  Mais selon cet article de NPR, Anthropic a été écartée du contrat pour avoir maintenu ces mêmes critères, tandis qu’OpenAI a encaissé l’argent

  • Anthropic a pris une décision éthique consistant à ne pas franchir cette limite, alors qu’OpenAI a agi comme si elle disait « au Département de la Défense de se débrouiller »
    C’est pour cela qu’elle a remporté le contrat
  • Anthropic a essayé d’inscrire des clauses de restriction dans le contrat, tandis qu’OpenAI a soutenu que ses propres guardrails suffisaient
    Mais il est permis de douter que ces guardrails puissent empêcher la surveillance des civils
  • Si l’on lit le billet officiel d’OpenAI, ses lignes rouges ne correspondent pas à celles d’Anthropic
  • Il est aussi possible que le gouvernement ait simplement exclu Anthropic pour des motifs de représailles
  • Altman est dépourvu de conscience, et je ne vois aucune raison de croire ce qu’il dit

• Le problème de la clause « Any Lawful Use », c’est que le Département de la Défense peut définir à sa guise ce qui est « légal »
  Il suffit qu’un juriste interne rédige une note, et cela devient aussitôt légal

  • Si quelqu’un pensait que les problèmes juridiques de l’après-11 Septembre avaient disparu avec l’arrivée des LLM, c’était naïf
    Les abus de pouvoir de l’État doivent être corrigés par le vote et la réforme institutionnelle
  • En pratique, ce genre de chose s’est déjà produit souvent (par exemple, la note de John Yoo justifiant légalement la torture)
    Le système n’a pas été conçu ainsi, mais la réalité est différente
  • Ce type d’opérations se déroule le plus souvent dans le secret, et même quand cela est révélé plus tard, les responsables sont blanchis au nom du « patriotisme »
  • Au final, on a droit quelques années plus tard à un rapport d’enquête, puis tout le monde oublie : c’est un scénario répétitif
  • Même quand il y a une contestation juridique, ils peuvent se cacher derrière des lois comme le Patriot Act

• Au bout du compte, le « Department of War » nouvellement rebaptisé ne fera que gaspiller l’argent public en achetant très cher des technologies inutiles
  J’éprouve de la tristesse pour les citoyens

• La différence entre Anthropic et OpenAI, c’est qu’Anthropic essayait de faire appliquer techniquement des restrictions, tandis qu’OpenAI s’est contentée de promesses verbales du type « espérons que le gouvernement ne les enfreindra pas »
  Il est donc naturel que le gouvernement ait choisi la seconde option

  • Si l’on lit le texte intégral du contrat d’OpenAI, la formule clé est « pour toute finalité légale »
    Cela laisse donc entendre que, si c’est légal, la surveillance de masse ou les armes létales autonomes restent possibles
  • OpenAI veut seulement se limiter au cadre des lois définies par le gouvernement, alors qu’Anthropic cherchait à tracer une ligne selon ses propres critères
  • En réalité, OpenAI n’a exigé aucune garantie concrète, et Altman donne surtout l’impression d’être guidé par la cupidité

• Une IA qui prend des décisions létales autonomes est une idée extrêmement dangereuse
  Pas seulement à cause de la superintelligence, mais aussi parce que même de petits modèles permettraient à n’importe qui de créer des armes impossibles à tracer
  Les modèles actuels ont appris une attitude positive envers la vie humaine, mais si on retire cela, on obtient des systèmes monstrueux

  • Mais les LLM ne peuvent ni « comprendre » la vie humaine ni la « considérer comme précieuse »
    Ce ne sont que des prédicteurs probabilistes de tokens
  • En réalité, l’IA intervient déjà dans les décisions létales depuis une vingtaine d’années
    Par exemple, un programme établissait une liste de cibles à éliminer et un humain pilotait ensuite le drone
  • Il est aussi facile de tromper un modèle pour l’amener à donner des instructions de mise à mort
  • Dire qu’un LLM respecte la vie n’est qu’une illusion

• Les gens semblent oublier qu’Anthropic a collaboré avec Palantir
  Quand cela a été révélé, ils l’ont simplement recouvert d’une opération de communication

  • Ce genre d’affirmation ressemble à un texte de propagande, donc difficile à prendre au sérieux
  • Si j’ai bien compris, le modèle Anthropic de Palantir a été utilisé dans un système fermé destiné au terrain militaire
  • On dirait que certains ne comprennent pas vraiment ce que fait Palantir en pratique

• On dirait qu’OpenAI publie ce billet pour gérer son image, car l’entreprise perd déjà des clients à cause de cette polémique

• Anthropic voulait un durcissement de la régulation de l’IA par le gouvernement, et au final on dirait qu’elle en subit elle-même les conséquences

• Cette affaire donne l’impression qu’OpenAI répond par une opération de communication aux critiques sur la faiblesse de ses standards éthiques

  • Le problème, pour les deux entreprises, c’est que leurs standards éthiques ne s’appliquent qu’à l’intérieur des frontières
    À l’étranger, des usages non éthiques restent toujours possibles