Anciens d’OpenAI : pourquoi les ex-employés ne peuvent pas parler

• ChatGPT peut parler, mais les employés d’OpenAI, non
  • Ils ont signé des accords leur interdisant toute critique, et s’ils les enfreignent, ils doivent renoncer à leurs actions

Lancement du nouveau ChatGPT 4o d’OpenAI

• OpenAI a lancé le nouveau ChatGPT 4o
• Il a une voix similaire à celle de l’assistant IA doublé par Scarlett Johansson dans le film "Her" de Spike Jonze, sorti en 2013
• Sam Altman, le CEO d’OpenAI, a publié un tweet mentionnant ce film

Démissions de figures clés chez OpenAI

• La sortie de ChatGPT 4o a éclipsé les annonces de départ d’Ilya Sutskever, cofondateur et scientifique en chef d’OpenAI, ainsi que de Jan Leike, qui dirigeait l’équipe Superalignment
• Jan Leike, qui figurait l’an dernier dans la liste Future Perfect 50, a lui aussi démissionné
• Ces départs n’ont rien de très surprenant
  • Sutskever a été impliqué dans la fronde du conseil d’administration qui avait conduit au licenciement temporaire du CEO Sam Altman l’an dernier
  • Après le retour rapide d’Altman à la tête de l’entreprise, Sutskever a publiquement regretté ses actes et soutenu ce retour
  • Mais depuis, alors que d’autres membres des équipes policy, alignment et safety quittaient l’entreprise, Sutskever était largement absent de la société

Spéculations autour du silence des anciens employés

• Le silence des anciens employés alimente les spéculations
• Sutskever a laissé un message de départ banal
  • « Je suis convaincu qu’OpenAI construira une AGI sûre et bénéfique. Je suis enthousiaste pour la suite », a-t-il déclaré
• Leike s’est contenté de dire : « J’ai démissionné »
  • Quelques jours plus tard, il a expliqué être parti en raison de ses inquiétudes face à l’éloignement d’OpenAI d’une culture centrée sur la sécurité
• De nombreuses hypothèses circulent sur les raisons de ce silence des anciens employés
  • Ont-ils été poussés dehors, s’agit-il des retombées du bref licenciement d’Altman à l’automne dernier, ou ont-ils démissionné pour protester contre un nouveau projet secret et dangereux ?

Pourquoi les anciens employés se taisent

• Il y a manifestement une raison au silence des anciens employés
  • Des accords de départ extrêmement restrictifs incluent une clause interdisant de critiquer son ancien employeur à vie
  • Le simple fait de reconnaître l’existence même d’un NDA constitue une violation
• Si l’employé sortant ne signe pas ces documents ou les enfreint, il peut perdre l’intégralité des parts reçues pendant son passage dans l’entreprise
  • Une somme qui vaut probablement plusieurs millions de dollars
• Daniel Kokotajlo, un ancien employé, a confirmé publiquement qu’il était parti sans signer de NDA et en renonçant à une importante somme en actions
  • Il a déclaré l’avoir fait parce qu’il avait « perdu confiance dans le fait qu’OpenAI agira de manière responsable à l’ère de l’AGI »

Les pratiques de NDA dans la Silicon Valley ultra-concurrentielle

• Dans la Silicon Valley ultra-concurrentielle, les NDA en eux-mêmes n’ont rien d’inhabituel
• En revanche, menacer des actions déjà acquises en cas de refus ou de violation est inhabituel
  • Pour les employés de startups comme OpenAI, les actions représentent une rémunération essentielle, souvent bien plus importante que le salaire
  • Menacer cet argent potentiellement capable de changer une vie est une manière très efficace de réduire les anciens employés au silence

La contradiction d’OpenAI sur l’ouverture et la transparence

• Au départ, OpenAI se présentait comme une organisation dédiée à construire des systèmes puissants de façon transparente et responsable
  • Mais l’entreprise a désormais abandonné l’idée de rendre ses modèles open source, au nom des questions de sécurité
• Elle a laissé partir les membres les plus expérimentés et les plus respectés de ses équipes safety
  • Cela alimente les doutes sur le fait que la sécurité soit réellement la raison de la fermeture croissante d’OpenAI
• Un porte-parole d’OpenAI a déclaré que l’entreprise « n’a jamais annulé les actions d’un employé actuel ou ancien, et ne le fera pas non plus, même si la personne ne signe pas à son départ »
  • Cela indiquerait un changement par rapport à la politique telle qu’elle était comprise

La place singulière d’OpenAI dans la tech et les politiques publiques

• OpenAI occupe depuis longtemps une position singulière à la fois dans la tech et dans les politiques publiques
  • Les produits qu’elle lance, de DALL-E à ChatGPT, sont impressionnants, mais ne suffisent pas à eux seuls à susciter une ferveur quasi religieuse
• Ce qui rend OpenAI particulière, c’est son objectif ambitieux de développer une intelligence artificielle générale (AGI) au bénéfice de l’humanité
  • Beaucoup de ses employés croient qu’avec une dizaine d’années (ou moins) et des milliers de milliards de dollars, cet objectif est atteignable
• Comme OpenAI le dit elle-même depuis longtemps, c’est passionnant, mais potentiellement dangereux

OpenAI comme acteur responsable

• Historiquement, OpenAI s’est présentée comme un acteur responsable, prêt à dépasser les incitations commerciales pour apporter l’AGI au bénéfice de tous
  • Elle a affirmé être disposée à ralentir le développement, à renoncer à des opportunités de profit ou à accepter une supervision extérieure si nécessaire
• La structure d’entreprise singulière d’OpenAI (une société à profit plafonné ultimement contrôlée par une organisation à but non lucratif) était censée renforcer cette responsabilité
• Rien n’incarnait mieux l’engagement d’OpenAI envers sa mission que le rôle visible confié à des personnes comme Sutskever et Leike
  • Ce sont des techniciens ayant une longue histoire d’engagement pour la sécurité, et qui semblaient prêts à exiger qu’OpenAI change de cap si nécessaire

Un changement d’attention porté au travail sur la sécurité

• Leur départ n’annonce pas qu’OpenAI renonce à son objectif de construire une intelligence artificielle générale
  • Cet objectif reste le même
• En revanche, il annonce presque certainement un changement dans l’attention accordée par OpenAI au travail sur la sécurité
  • L’entreprise n’a pas annoncé qui prendra la tête de l’équipe Superalignment
• Il devient clair que les préoccupations affichées par OpenAI pour la supervision extérieure et la transparence n’étaient peut-être pas si profondes
  • Si l’on veut vraiment qu’une supervision extérieure et que le monde aient un rôle sur ce que l’on fait, faire signer aux anciens employés des NDA extrêmement restrictifs ne va clairement pas dans ce sens

Déception à l’égard d’OpenAI

• Voilà pourquoi OpenAI est fondamentalement décevante pour les personnes qui se soucient profondément du fait que l’IA soit réellement bénéfique pour l’humanité
  • La direction de l’entreprise dit vouloir changer le monde, assumer cette responsabilité, et accueillir les avis du monde entier sur la manière de le faire avec justice et sagesse
• Mais quand de l’argent réel est en jeu — et des sommes colossales le sont dans la course à la domination de l’IA — il devient clair qu’elle n’avait probablement pas l’intention de laisser le monde donner autant son avis
  • Ses procédures empêchent les anciens employés, c’est-à-dire ceux qui savent le mieux ce qui se passe au sein d’OpenAI, d’en parler au monde extérieur
• Son site web affiche peut-être de nobles idéaux, mais ses accords de départ sont remplis d’un langage juridique implacable
  • Il est difficile de demander des comptes à une entreprise lorsque ses anciens employés sont réduits à dire seulement : « J’ai démissionné »

La nouvelle voix mignonne de ChatGPT peut être séduisante, mais je n’en suis pas particulièrement tombé amoureux.

[GN⁺]

Avis Hacker News

Résumé d’une sélection de commentaires Hacker News

• Comment contourner un accord de confidentialité

  • Pour contourner un accord de confidentialité, les employés concernés pourraient se réunir, écrire tout ce qu’ils veulent dire, l’utiliser pour entraîner un LLM (grand modèle de langage), puis le publier. Cela exploiterait la logique juridique actuelle qui reporte la responsabilité sur les utilisateurs du modèle.

• Les accords de confidentialité d’OpenAI

  • Les anciens employés d’OpenAI doivent signer des contrats comportant des clauses très strictes de confidentialité et de non-dénigrement. Les enfreindre peut leur faire perdre des actions d’une valeur de plusieurs millions de dollars.

• La gravité de la situation

  • La situation est très grave, et certaines personnes la considèrent comme un comportement criminel. Certains estiment aussi que les agissements d’OpenAI ressemblent à l’affaire Enron.

• Besoin de conseils juridiques

  • Des conseils juridiques sont nécessaires concernant la loi californienne SB 331 (« Silence No More Act »). Cette loi pourrait s’appliquer non seulement au harcèlement sexuel, mais aussi à d’autres formes de contrats abusifs.

• Un contrat déraisonnable

  • Imposer aux employés une clause de non-dénigrement à vie est abusif. Cela pourrait poser problème sur le plan juridique, et il faudrait qu’une personne courageuse engage une action en justice pour faire bouger les choses.

• Les limites de l’IA

  • Selon certains, l’IA ne peut pas remplacer tout le travail humain. Par exemple, elle ne peut pas peindre une maison ou réparer une chaudière.

• La rémunération en actions dans les startups

  • Dans les startups, les actions sont un élément important de la rémunération. Les employés d’OpenAI reçoivent des salaires élevés et des actions, en échange notamment d’un NDA. On trouve des cas similaires chez Apple.

• Respect pour Jan Leike

  • Certains expriment un respect supplémentaire pour Jan Leike.

• La validité du contrat

  • Pour qu’un contrat soit valable, une nouvelle compensation en actions devrait être accordée. Imposer un nouveau contrat en s’appuyant sur une rémunération déjà accordée est abusif.

• Le caractère privé du contrat

  • Un contrat relève des parties concernées, et s’il y a un problème juridique, il doit être réglé devant les tribunaux. Il faut éviter de traiter toutes les questions sur la place publique.