Si OpenAI reste une organisation caritative 501(c)(3), tout employé de Microsoft siégeant au conseil d’administration aura un devoir fiduciaire de faire passer la mission de l’organisation caritative avant les besoins commerciaux de Microsoft. Le conflit d’intérêts est tellement évident que l’IRS n’apprécierait probablement pas cette structure
Dans les conseils d’administration de grandes entreprises, les conflits d’intérêts « sur le papier » sont fréquents. C’est ce qui arrive dans n’importe quel secteur lorsqu’on veut que des personnes ayant une vraie expérience de gestion siègent au conseil et agissent de façon responsable ; ce n’est pas un problème propre à la tech ni à OpenAI
En pratique, cela fonctionne via les règles du conseil et le bon sens : on se récuse quand il le faut et on évite de faire des choses stupides
Une organisation à but non lucratif n’a sans doute jamais subi un examen aussi intense, et les nouveaux administrateurs voudront probablement faire intervenir des avocats pour se protéger. Il suffit d’imaginer leur position si Sam Altman faisait réellement quelque chose justifiant son limogeage
Faire d’OpenAI une organisation caritative d’intérêt public a été une grosse erreur, et entrer dans un tel chaos n’a rien d’attirant. Si, plus tard, elle penche vers le statut de fondation privée, cela deviendra encore plus intéressant
OpenAI n’est pas une organisation caritative. L’investissement de Microsoft est allé dans OpenAI Global, LLC, une société à but lucratif
D’après https://openai.com/our-structure, la filiale à but lucratif est entièrement contrôlée par OpenAI Nonprofit, et les membres du conseil doivent exercer leur devoir fiduciaire au service de la mission d’une « AGI sûre et largement bénéfique ». La participation aux bénéfices des investisseurs, des employés et de Microsoft est plafonnée, et toute valeur résiduelle au-delà de ce plafond revient à l’organisation à but non lucratif au bénéfice de l’humanité. De plus, c’est le conseil qui détermine si l’AGI a été atteinte, et l’AGI est exclue de la licence de propriété intellectuelle et des conditions commerciales de Microsoft
Rien n’indique que l’administrateur nommé par Microsoft doive nécessairement être un employé de Microsoft. Bien sûr, cela pourrait être le cas, mais dans les grandes organisations à but non lucratif, il est courant d’avoir des administrateurs issus d’entreprises à but lucratif
Je ne pense pas que l’IRS s’en soucierait beaucoup. Si l’argument est qu’OpenAI détourne des avantages vers Microsoft, une entreprise à but lucratif qui paie des impôts, même en imaginant l’intervention la plus malveillante possible, cela ressemble davantage à une affaire relevant de la SEC que de l’IRS
Je ne pense pas que le gouvernement réglementera fortement cela. L’IA est trop importante pour l’État et l’armée ; ils ne voudront pas ralentir un avantage concurrentiel à cause de conflits d’intérêts mineurs
Avec le retour de Sam au poste de CEO, il me semble que le conseil d’administration d’OpenAI a prouvé qu’il ne fonctionnait plus. Quelle que soit sa composition, il est devenu incapable d’exercer son pouvoir le plus fondamental, celui de limoger le CEO, et Sam a montré qu’il était de fait impossible à licencier
Cela ne veut pas dire que Sam a menti, ni qu’il le fera à l’avenir
Pas du tout. Le conseil a simplement agi de la manière la plus incompétente possible parmi les groupes chargés de responsabilités
S’ils avaient respecté une procédure régulière, informé les employés et les investisseurs, et annoncé les raisons du limogeage du CEO, il n’y aurait pas eu cette décision expédiée en 15 minutes sur Google Meet suivie d’un silence total, et une telle colère n’aurait pas éclaté
Imaginez que le conseil d’Apple limoge Tim Cook sans aucun préavis juste après qu’il a présenté sur scène les mises à jour de la plateforme développeurs de l’année ainsi qu’une croissance et des ventes records, qu’il refuse pendant plusieurs jours de donner aux investisseurs une raison ou la moindre communication utile, puis qu’au cours du même week-end il remplace un premier CEO par intérim par un autre CEO par intérim venant d’un secteur totalement différent
Si vous pensez qu’il n’y aurait pas eu de révolte des actionnaires contre le conseil au simple motif qu’il exerçait son pouvoir fondamental de limoger le CEO, c’est que vous passez à côté d’une partie de la situation
Contrairement à ce que beaucoup pensent, c’est un meilleur accord pour le conseil et un moins bon pour Sam. Sam, Greg et Ilya ont tous quitté le conseil, tandis que D'Angelo reste malgré ses agissements absurdes et obtient un droit de veto ainsi qu’une grande influence sur la nomination des nouveaux administrateurs
Désormais, tout le monde se méfiera de Sam. Il aura beaucoup moins de levier qu’au sein du précédent conseil. À terme, il pourra peut-être gagner en convainquant les autres administrateurs indépendants par son charme et ses compétences sociales, mais il devra beaucoup contrôler son comportement s’il veut qu’ils restent de son côté plutôt que de celui de D'Angelo
C’est vrai, mais à l’inverse, cette affaire a montré qu’OpenAI ne fonctionne plus de façon fluide, et qu’elle aura probablement du mal à le refaire. On ne peut pas couper la tête d’un serpent, la recoller, puis s’attendre à ce qu’il rampe comme avant
Même si Sam reste, une organisation aussi complexe qu’OpenAI repose sur des milliers de règles tacites, de relations et de processus cachés qui doivent fonctionner sans intervention directe du CEO. Le réembauchage de Sam me semble signifier que l’OpenAI de demain ne sera plus que l’ombre pâle de ce qu’elle était. S’il parvient vraiment à se réinstaller, ce sera étrange, d’autant plus quand on pense aux autres personnes parties. Cela ne veut pas dire qu’OpenAI va mourir, mais elle a clairement montré ses faiblesses
Le conseil peut toujours limoger Sam s’il convainc d’abord les parties prenantes clés. Ce qui n’avait pas de sens, c’était de limoger sans aucune justification quelqu’un qui faisait du bon travail ; c’était apparemment le cœur du problème
Au bout du compte, tout le monde sait que cette structure à but non lucratif est surtout une façade et qu’elle ne fonctionnera pas bien
Cela me rappelle en quelque sorte le fiasco Coke/New Coke. Au final, c’est un épisode qui a rendu Coke Classic encore plus célèbre qu’avant
Les consommateurs étaient furieux et réclamaient le retour du goût avec lequel ils avaient grandi, et la demande de rétablissement du produit original était si forte que des journalistes se sont même demandé si tout le projet n’était pas une mise en scène. À quoi Don Keough, président de Coca-Cola, répondit le 10 juillet 1985 : « Nous ne sommes pas si stupides, et nous ne sommes pas si intelligents. » https://en.wikipedia.org/wiki/New_Coke
J’ai goûté au New Coke lorsqu’il a été relancé à cause de Stranger Things, et je l’ai trouvé bien meilleur que Coca Cola Classic. Dommage qu’il ait échoué.
Je m’attendais à ce que cette mise en scène ait servi à masquer le passage du sucre au sirop de maïs à haute teneur en fructose.
Ilya a quitté le conseil d’administration, mais Adam y est toujours. C’est de quoi faire lever un sourcil, mais c’est comme ça.
Le retour de Sam ne fera pas simplement disparaître cette affaire. Maintenant que Sam apparaît comme irremplaçable, OAI va traverser de grands changements. À long terme, je doute qu’OAI devienne l’une de ces méga-entreprises comme Facebook ou Uber ; elle a perdu la confiance.
Ce n’est pas tant qu’il soit irremplaçable ; c’est plutôt que le virer soudainement sans vraie raison pose problème.
L’histoire a montré à maintes reprises qu’un bon produit compte bien plus que la confiance, et Facebook comme Uber en sont la preuve. Juste après les scandales, tout le monde proclame haut et fort que la confiance est perdue, mais le moment venu, les contrats sont discrètement renouvelés.
Les grands acteurs de la publicité comme Google, Amazon et Facebook ont des scandales presque tous les mois, et pourtant les revenus publicitaires continuent d’arriver. Meltdown a été un gros scandale, mais Intel continue de produire des puces.
Facebook a perdu la confiance tellement de fois qu’on ne les compte plus, mais n’est-ce pas toujours une Megacorp ?
Sam Altman est un CEO fondateur extrêmement charismatique ; certains le jugent manipulateur, mais beaucoup d’employés l’adorent. Il a été évincé par le conseil, puis il est revenu quand le conseil a compris son erreur.
Cela ne colle pas exactement au récit fondateur des immenses réussites que sont Facebook, Amazon, Microsoft ou Google, mais je pense toujours que ce genre de personne peut bâtir une entreprise gigantesque. Bien sûr, ce qui compte plus que bâtir une entreprise gigantesque, c’est de créer un produit démentiellement excellent.
Au final, on ne sait toujours pas exactement ce qui s’est passé, et on ne le saura probablement jamais. Il semble toutefois clair qu’il y avait une fracture entre la Team Sam, favorable à une commercialisation rapide, et la Team Helen/Ilya, attachée au maintien des principes initiaux.
Même un article antérieur à GPT-3 disait que les idéaux fondateurs de transparence, d’ouverture et de collaboration étaient érodés par une concurrence féroce et la pression de financements plus importants. La Team Helen a agi dans la panique, mais pensait probablement gagner parce qu’elle croyait défendre les principes fondateurs de l’organisation. Elle n’avait pourtant aucune chance dès le départ. Dans le grand public, peu de gens se soucient réellement de l’AI Safety ; les autres aiment que ChatGPT les aide à faire leurs devoirs. La façon absurdemment stupide dont le conseil a agi mérite d’être moquée, mais il faut aussi considérer l’autre point de vue : si l’on croit vraiment qu’une IA surhumaine est proche et peut agir de manière malveillante, n’aurait-on pas essayé de ralentir ?
Franchement, j’ai du mal à prendre cette menace au sérieux, mais j’ai davantage envie qu’avant de la comprendre en profondeur. Peut-être qu’elle n’est pas aussi infondée que je le pensais. J’espère qu’il ne viendra jamais un jour où la Team Helen dira : « c’est précisément ce que nous essayions d’empêcher ». https://www.technologyreview.com/2020/02/17/844721/ai-openai...
Ce que pense ici le grand public n’a pas d’importance. Le facteur décisif a été la révolte des employés ; sans employés, l’organisation n’est qu’une coquille vide.
Les employés se sont rangés du côté d’un impact rapide dans le monde réel, ce qui affecte aussi directement leur carrière et leurs stock-options. Voir cela comme une bataille de principes est naïf. Le slogan commercialisation rapide contre principes a été mis en avant par chaque camp pour rallier le sien ; en réalité, il s’agissait très probablement d’une prise de pouvoir brutale exploitant une structure organisationnelle faible et confuse. La « bonne » façon d’écarter Altman aurait été de restreindre progressivement son pouvoir au conseil et de le pousser vers un rôle de plus en plus cérémoniel jusqu’à ce qu’il démissionne de lui-même.
Si OpenAI se rapproche de la singularité, alors Google, Meta, Baidu, etc., aussi. Dans ce cas, il faudrait impliquer la NSA ou la Maison-Blanche, et lancer des mesures d’atténuation incluant aussi Google, Meta et Microsoft.
Ralentir uniquement OpenAI nuirait à l’entreprise si l’hypothèse est fausse, et n’aiderait pas si elle est vraie. Cela ressemble moins à une bataille de principes et de direction qu’à une lutte d’ego et de pouvoir.
Ce récit est plausible, mais il n’explique pas le ton étrange et agressif du premier communiqué.
Si le conseil avait pointé les principes fondateurs ou la charte en disant qu’il existait entre lui et Sam des divergences irréconciliables sur leur interprétation, tout en exprimant une profonde gratitude pour ses contributions passées, la situation aurait pu être différente. Bien sûr, un CEO successeur adéquat et l’assurance que les PPU des employés deviendraient liquides auraient été bien plus importants. Au départ, le communiqué était si mauvais que j’ai cru que Sam avait commis un crime.
L’ironie d’une organisation qui prônait un progrès responsable mais n’a même pas su aligner les structures d’incitation au sein de sa propre organisation mérite d’être moquée. C’est un coup dur pour sa crédibilité, et cela fait même douter des préoccupations éthiques qu’elle met en avant.
Si l’on pense que la menace est réelle, n’est-ce pas déjà fichu ? OpenAI n’est qu’une des nombreuses équipes qui travaillent sur ce problème, toutes soutenues par les financements et les talents considérables de grandes entreprises cotées.
OpenAI a certes apporté une contribution singulière, mais elle n’est pas non plus écrasante. Si OpenAI vacille, il est probable qu’un autre acteur prenne la tête, et on ne sait pas non plus d’où viendra la prochaine grande innovation. Si l’on considère la menace comme réelle, je ne comprends pas pourquoi on suppose qu’OpenAI est le leader absolu. Ralentir l’entreprise aurait pour résultat le plus probable de céder la première place à quelqu’un d’autre.
On peut voir la configuration ainsi : Ilya, un développeur, contre Sam, un homme d’affaires, c’est Sam qui gagne. Quand des centaines de développeurs menacent de démissionner et que le conseil tient bon, ce sont les développeurs qui gagnent.
Vu de l’extérieur, on dirait que les développeurs détenaient le pouvoir depuis le début, et c’est ainsi que cela devrait être.
Il est sans précédent que 95 % d’une entreprise adoptent la même position, mais il y a plusieurs raisons à cela.
Ils pouvaient obtenir des postes et une rémunération similaires dans la nouvelle startup Microsoft, donc leur emploi n’était pas en danger ; Sam avait approuvé chaque recrutement au départ ; et OpenAI avait recruté des personnes qui voulaient travailler pour une organisation à but non lucratif dotée d’une mission plutôt que pour d’autres entreprises capables de mieux les payer. Quoi qu’il en soit, se rallier autour d’une démission collective était une bonne stratégie, et elle a fonctionné. « OpenAI is nothing without its people » était un contre-pouvoir face à un mauvais conseil.
Il y a trois dragons : les employés, les clients, le gouvernement. S’ils sont motivés et alignés, n’importe lequel de ces trois-là peut, s’il le veut, mettre fin à une entreprise.
Il ne faut pas réveiller le dragon.
C’est plutôt l’argent qui a gagné. Il semble évident que la plupart des employés ne se souciaient pas vraiment de la mission d’OpenAI. Je ne leur en veux pas : ils étaient employés par l’entreprise OpenAI à but lucratif et rémunérés en parts en fonction de cet objectif
À mon avis, le conseil d’administration avait raison d’essayer de préserver la mission originelle d’OpenAI. Même si cette mission n’a désormais plus aucun sens. L’argument selon lequel Google, Meta et Microsoft la développeront de toute façon est un raisonnement bien commode. Il a aussi servi dans la course à l’arme nucléaire, avec des formules du type « si nous ne la fabriquons pas, d’autres le feront », et le résultat est la situation actuelle
Peut-on vraiment être certain qu’Ilya était à l’origine de tout cela ? Il a d’abord soutenu la décision, mais il a ensuite aussi signé la lettre disant qu’il démissionnerait si elle n’était pas annulée
Je me demande quelles preuves montrent qu’Ilya, et non D’Angelo, était derrière tout ça
L’union des développeurs semble plus forte que l’entreprise elle-même. C’est pour cela que les dirigeants de la big tech détestent autant les syndicats
On pouvait nourrir des espoirs dans une approche de la sécurité de l’IA portée par l’industrie privée, mais cela semble désormais compromis ; et comme les investissements publics dans la R&D en IA publique avancent lentement, toutes les approches de sécurité de l’IA paraissent incertaines
La recherche en sécurité sur des modèles jouets continuera de progresser, mais l’attente dans le secteur semble être qu’en raison des propriétés émergentes, il existe un plafond assez bas à ce qu’on peut apprendre sur la sécurité sans étudier les modèles de pointe. Altman a présenté la structure de gouvernance d’OpenAI comme un mécanisme donnant la priorité à la sécurité, mais les informations selon lesquelles du personnel chargé de la sécurité aurait été réaffecté à la gestion de la charge de ChatGPT sont préoccupantes. Le conseil a désormais montré que, même s’il en avait techniquement la possibilité, il n’était pas assez fort pour contrôler ces intérêts, et on voit mal comment des organisations orientées sécurité, y compris Anthropic, pourraient échapper à l’influence accélérationniste de leurs financeurs
Les propriétés émergentes, ça n’existe pas ; il y a seulement une augmentation linéaire des connaissances consultables
Ils ne savent pas planifier, ne savent pas faire de l’arithmétique et ne savent pas raisonner. Ils permettent de rechercher approximativement des connaissances au moyen de requêtes en langage naturel, ce qui est plutôt bon, et d’encoder des données en langage naturel et dans d’autres modalités. Ce n’est pas cela qui m’inquiète en soi, mais le fait que les gens comprennent très mal ce que ces modèles peuvent faire et veuillent ensuite les utiliser pour des tâches importantes
Si davantage d’efforts sont consacrés aux premières étapes de commercialisation, comme faire tourner ChatGPT de manière stable en continu, il se peut qu’il y ait au contraire moins d’efforts consacrés au développement des capacités de pointe. Altman n’a jamais été quelqu’un de la sécurité de l’IA au départ, donc, personnellement, j’espère qu’Anthropic évitera ce problème grâce à un meilleur leadership
Il suffit de ne pas être incompétent et de ne pas abuser de son pouvoir pour son intérêt personnel. Les gens ne sont pas aussi stupides qu’on le pense : ils voient à travers ce genre de foutaises, et préféreront partir plutôt que suivre un tyran idiot
J’aimerais savoir ce qu’est un modèle qui n’est pas un « modèle jouet »
Je ne pensais vraiment pas qu’une telle chose arriverait. La prochaine question est évidemment de savoir ce qu’il adviendra d’Ilya. D’après cette annonce, il semble avoir quitté le conseil ; mais est-il toujours scientifique en chef ? J’ai du mal à croire que lui et Sam puissent rétablir leur relation au point de travailler aussi étroitement ensemble
Il est aussi intéressant qu’Adam reste au conseil, ce qui semble contredire plusieurs hypothèses qui circulaient ici, selon lesquelles il aurait été le meneur en raison de conflits d’intérêts
Du point de vue d’Ilya, il ne semble pas que grand-chose ait changé. Sam l’a mis sur la touche il y a un mois à cause d’un désaccord persistant sur la vitesse à laquelle pousser la commercialisation
Si Ilya reste marginalisé, il partira probablement, et l’entreprise qui lui offrira le plus de contrôle le recrutera. Même chose s’il est licencié. S’il est replacé au centre dans le cadre de l’accord, il restera probablement scientifique en chef. J’espère que l’hostilité de Sam va maintenant un peu diminuer
Aussi étrange que cela puisse paraître, je trouve qu’Ilya sort plutôt bien de cette affaire. Il a pris une décision en fonction de ses valeurs et de ce qu’il croyait être le mieux pour la sécurité de l’IA, puis, en voyant les conséquences, il a changé d’avis et en a assumé la responsabilité
Il savait sans doute qu’on se moquerait de lui sur Internet pour avoir fait volte-face, mais il a agi dans le sens qu’il pensait être le meilleur pour les employés signataires. Ses actes peuvent être critiqués, mais je pense qu’ils révèlent son caractère moral. Les autres membres du conseil semblent avoir décidé pour des raisons plus personnelles, ce qui paraît aussi cohérent avec les conflits d’intérêts d’Adam. Honnêtement, parmi les quatre, Ilya est le seul que je voudrais garder au conseil. À un poste de leadership, il faut quelqu’un capable de changer de cap à la lumière de nouvelles informations
On peut voir les choses avec un peu plus d’optimisme. Les deux se connaissent assez bien et savent comment accomplir de grandes choses ensemble. Parfois, les choses dérapent ou quelqu’un commet une erreur, et de simples excuses sincères peuvent mener assez loin
Sam sait comment fonctionnent les relations d’affaires, donc il ne devrait pas avoir de problème à rétablir la relation. En plus, comme on l’a vu dans son tweet, Ilya a déjà baisé l’anneau
Le nouveau conseil semble composé d’Adam D’Angelo, plutôt pro-conseil, de Brett Taylor, plutôt pro-Sam, et de Larry Summers, qui paraît assez proche du neutre. Brett poussait au retour de Sam depuis dimanche, donc je suppose que Sam et la direction d’OpenAI l’apprécient. Larry n’a jamais travaillé dans l’IA, mais c’est un nom généralement respecté, et les deux camps ont probablement mené de nombreux entretiens et vérifications de réputation avant de parvenir à un compromis
Il sera intéressant de voir comment le conseil évoluera. Il y avait grosso modo deux factions. Celle qui estimait que Sam allait trop vite l’a démis de ses fonctions ; celle qui jugeait la trajectoire de Sam acceptable comprenait Sam et Greg. Le conseil est désormais équilibré, et les nominations à venir pourraient le faire pencher d’un côté ou de l’autre. Malheureusement, un conseil divisé tient rarement longtemps, et il est probable qu’un camp finisse par l’emporter. Je pense que le camp de Sam finira par gagner, mais il faudra voir
L’une des conséquences les plus tristes de ce drame est que Greg a été écarté d’OpenAI. Greg n’est pas seulement quelqu’un de brillant : il a constamment consacré 80 à 90 heures par semaine à OpenAI, et on peut dire qu’il a dédié une grande partie de sa vie à construire cette organisation. Que quelqu’un comme lui ait dû partir à cause d’un conseil qui n’a presque pas contribué à créer OpenAI, encore moins en y travaillant 90 heures par semaine, est insultant. Ilya est l’exception, et il est remarquable qu’il ait changé de position en voyant que ses actes étaient en train de tuer OpenAI
Le choix inquiétant ici, c’est Larry Summers. Sa position en faveur de la dérégulation bancaire a conduit à la crise financière mondiale, et il a aussi été au centre de plusieurs polémiques pour des positions racistes et sexistes. En plus, c’était un ami de longue date d’Epstein et il s’est rendu plusieurs fois sur son île
Greg ne devait quitter que son siège au conseil, pas son poste dans l’entreprise
1 commentaires
Avis de Hacker News
Ce fil contient plus de 1 800 commentaires. Si vous voulez tous les lire, cliquez sur More en bas de chaque page, ou ouvrez directement les pages comme ci-dessous
https://news.ycombinator.com/item?id=38375239&p=2
https://news.ycombinator.com/item?id=38375239&p=3
https://news.ycombinator.com/item?id=38375239&p=4
Si OpenAI reste une organisation caritative 501(c)(3), tout employé de Microsoft siégeant au conseil d’administration aura un devoir fiduciaire de faire passer la mission de l’organisation caritative avant les besoins commerciaux de Microsoft. Le conflit d’intérêts est tellement évident que l’IRS n’apprécierait probablement pas cette structure
En pratique, cela fonctionne via les règles du conseil et le bon sens : on se récuse quand il le faut et on évite de faire des choses stupides
Faire d’OpenAI une organisation caritative d’intérêt public a été une grosse erreur, et entrer dans un tel chaos n’a rien d’attirant. Si, plus tard, elle penche vers le statut de fondation privée, cela deviendra encore plus intéressant
D’après https://openai.com/our-structure, la filiale à but lucratif est entièrement contrôlée par OpenAI Nonprofit, et les membres du conseil doivent exercer leur devoir fiduciaire au service de la mission d’une « AGI sûre et largement bénéfique ». La participation aux bénéfices des investisseurs, des employés et de Microsoft est plafonnée, et toute valeur résiduelle au-delà de ce plafond revient à l’organisation à but non lucratif au bénéfice de l’humanité. De plus, c’est le conseil qui détermine si l’AGI a été atteinte, et l’AGI est exclue de la licence de propriété intellectuelle et des conditions commerciales de Microsoft
Je ne pense pas que l’IRS s’en soucierait beaucoup. Si l’argument est qu’OpenAI détourne des avantages vers Microsoft, une entreprise à but lucratif qui paie des impôts, même en imaginant l’intervention la plus malveillante possible, cela ressemble davantage à une affaire relevant de la SEC que de l’IRS
Avec le retour de Sam au poste de CEO, il me semble que le conseil d’administration d’OpenAI a prouvé qu’il ne fonctionnait plus. Quelle que soit sa composition, il est devenu incapable d’exercer son pouvoir le plus fondamental, celui de limoger le CEO, et Sam a montré qu’il était de fait impossible à licencier
Cela ne veut pas dire que Sam a menti, ni qu’il le fera à l’avenir
S’ils avaient respecté une procédure régulière, informé les employés et les investisseurs, et annoncé les raisons du limogeage du CEO, il n’y aurait pas eu cette décision expédiée en 15 minutes sur Google Meet suivie d’un silence total, et une telle colère n’aurait pas éclaté
Si vous pensez qu’il n’y aurait pas eu de révolte des actionnaires contre le conseil au simple motif qu’il exerçait son pouvoir fondamental de limoger le CEO, c’est que vous passez à côté d’une partie de la situation
Désormais, tout le monde se méfiera de Sam. Il aura beaucoup moins de levier qu’au sein du précédent conseil. À terme, il pourra peut-être gagner en convainquant les autres administrateurs indépendants par son charme et ses compétences sociales, mais il devra beaucoup contrôler son comportement s’il veut qu’ils restent de son côté plutôt que de celui de D'Angelo
Même si Sam reste, une organisation aussi complexe qu’OpenAI repose sur des milliers de règles tacites, de relations et de processus cachés qui doivent fonctionner sans intervention directe du CEO. Le réembauchage de Sam me semble signifier que l’OpenAI de demain ne sera plus que l’ombre pâle de ce qu’elle était. S’il parvient vraiment à se réinstaller, ce sera étrange, d’autant plus quand on pense aux autres personnes parties. Cela ne veut pas dire qu’OpenAI va mourir, mais elle a clairement montré ses faiblesses
Au bout du compte, tout le monde sait que cette structure à but non lucratif est surtout une façade et qu’elle ne fonctionnera pas bien
Cela me rappelle en quelque sorte le fiasco Coke/New Coke. Au final, c’est un épisode qui a rendu Coke Classic encore plus célèbre qu’avant
Les consommateurs étaient furieux et réclamaient le retour du goût avec lequel ils avaient grandi, et la demande de rétablissement du produit original était si forte que des journalistes se sont même demandé si tout le projet n’était pas une mise en scène. À quoi Don Keough, président de Coca-Cola, répondit le 10 juillet 1985 : « Nous ne sommes pas si stupides, et nous ne sommes pas si intelligents. »
https://en.wikipedia.org/wiki/New_Coke
J’ai goûté au New Coke lorsqu’il a été relancé à cause de Stranger Things, et je l’ai trouvé bien meilleur que Coca Cola Classic. Dommage qu’il ait échoué.
Ilya a quitté le conseil d’administration, mais Adam y est toujours. C’est de quoi faire lever un sourcil, mais c’est comme ça.
Le retour de Sam ne fera pas simplement disparaître cette affaire. Maintenant que Sam apparaît comme irremplaçable, OAI va traverser de grands changements. À long terme, je doute qu’OAI devienne l’une de ces méga-entreprises comme Facebook ou Uber ; elle a perdu la confiance.
Les grands acteurs de la publicité comme Google, Amazon et Facebook ont des scandales presque tous les mois, et pourtant les revenus publicitaires continuent d’arriver. Meltdown a été un gros scandale, mais Intel continue de produire des puces.
Cela ne colle pas exactement au récit fondateur des immenses réussites que sont Facebook, Amazon, Microsoft ou Google, mais je pense toujours que ce genre de personne peut bâtir une entreprise gigantesque. Bien sûr, ce qui compte plus que bâtir une entreprise gigantesque, c’est de créer un produit démentiellement excellent.
Au final, on ne sait toujours pas exactement ce qui s’est passé, et on ne le saura probablement jamais. Il semble toutefois clair qu’il y avait une fracture entre la Team Sam, favorable à une commercialisation rapide, et la Team Helen/Ilya, attachée au maintien des principes initiaux.
Même un article antérieur à GPT-3 disait que les idéaux fondateurs de transparence, d’ouverture et de collaboration étaient érodés par une concurrence féroce et la pression de financements plus importants. La Team Helen a agi dans la panique, mais pensait probablement gagner parce qu’elle croyait défendre les principes fondateurs de l’organisation. Elle n’avait pourtant aucune chance dès le départ. Dans le grand public, peu de gens se soucient réellement de l’AI Safety ; les autres aiment que ChatGPT les aide à faire leurs devoirs. La façon absurdemment stupide dont le conseil a agi mérite d’être moquée, mais il faut aussi considérer l’autre point de vue : si l’on croit vraiment qu’une IA surhumaine est proche et peut agir de manière malveillante, n’aurait-on pas essayé de ralentir ?
Franchement, j’ai du mal à prendre cette menace au sérieux, mais j’ai davantage envie qu’avant de la comprendre en profondeur. Peut-être qu’elle n’est pas aussi infondée que je le pensais. J’espère qu’il ne viendra jamais un jour où la Team Helen dira : « c’est précisément ce que nous essayions d’empêcher ».
https://www.technologyreview.com/2020/02/17/844721/ai-openai...
Les employés se sont rangés du côté d’un impact rapide dans le monde réel, ce qui affecte aussi directement leur carrière et leurs stock-options. Voir cela comme une bataille de principes est naïf. Le slogan commercialisation rapide contre principes a été mis en avant par chaque camp pour rallier le sien ; en réalité, il s’agissait très probablement d’une prise de pouvoir brutale exploitant une structure organisationnelle faible et confuse. La « bonne » façon d’écarter Altman aurait été de restreindre progressivement son pouvoir au conseil et de le pousser vers un rôle de plus en plus cérémoniel jusqu’à ce qu’il démissionne de lui-même.
Ralentir uniquement OpenAI nuirait à l’entreprise si l’hypothèse est fausse, et n’aiderait pas si elle est vraie. Cela ressemble moins à une bataille de principes et de direction qu’à une lutte d’ego et de pouvoir.
Si le conseil avait pointé les principes fondateurs ou la charte en disant qu’il existait entre lui et Sam des divergences irréconciliables sur leur interprétation, tout en exprimant une profonde gratitude pour ses contributions passées, la situation aurait pu être différente. Bien sûr, un CEO successeur adéquat et l’assurance que les PPU des employés deviendraient liquides auraient été bien plus importants. Au départ, le communiqué était si mauvais que j’ai cru que Sam avait commis un crime.
OpenAI a certes apporté une contribution singulière, mais elle n’est pas non plus écrasante. Si OpenAI vacille, il est probable qu’un autre acteur prenne la tête, et on ne sait pas non plus d’où viendra la prochaine grande innovation. Si l’on considère la menace comme réelle, je ne comprends pas pourquoi on suppose qu’OpenAI est le leader absolu. Ralentir l’entreprise aurait pour résultat le plus probable de céder la première place à quelqu’un d’autre.
On peut voir la configuration ainsi : Ilya, un développeur, contre Sam, un homme d’affaires, c’est Sam qui gagne. Quand des centaines de développeurs menacent de démissionner et que le conseil tient bon, ce sont les développeurs qui gagnent.
Vu de l’extérieur, on dirait que les développeurs détenaient le pouvoir depuis le début, et c’est ainsi que cela devrait être.
Ils pouvaient obtenir des postes et une rémunération similaires dans la nouvelle startup Microsoft, donc leur emploi n’était pas en danger ; Sam avait approuvé chaque recrutement au départ ; et OpenAI avait recruté des personnes qui voulaient travailler pour une organisation à but non lucratif dotée d’une mission plutôt que pour d’autres entreprises capables de mieux les payer. Quoi qu’il en soit, se rallier autour d’une démission collective était une bonne stratégie, et elle a fonctionné. « OpenAI is nothing without its people » était un contre-pouvoir face à un mauvais conseil.
Il ne faut pas réveiller le dragon.
C’est plutôt l’argent qui a gagné. Il semble évident que la plupart des employés ne se souciaient pas vraiment de la mission d’OpenAI. Je ne leur en veux pas : ils étaient employés par l’entreprise OpenAI à but lucratif et rémunérés en parts en fonction de cet objectif
À mon avis, le conseil d’administration avait raison d’essayer de préserver la mission originelle d’OpenAI. Même si cette mission n’a désormais plus aucun sens. L’argument selon lequel Google, Meta et Microsoft la développeront de toute façon est un raisonnement bien commode. Il a aussi servi dans la course à l’arme nucléaire, avec des formules du type « si nous ne la fabriquons pas, d’autres le feront », et le résultat est la situation actuelle
Je me demande quelles preuves montrent qu’Ilya, et non D’Angelo, était derrière tout ça
On pouvait nourrir des espoirs dans une approche de la sécurité de l’IA portée par l’industrie privée, mais cela semble désormais compromis ; et comme les investissements publics dans la R&D en IA publique avancent lentement, toutes les approches de sécurité de l’IA paraissent incertaines
La recherche en sécurité sur des modèles jouets continuera de progresser, mais l’attente dans le secteur semble être qu’en raison des propriétés émergentes, il existe un plafond assez bas à ce qu’on peut apprendre sur la sécurité sans étudier les modèles de pointe. Altman a présenté la structure de gouvernance d’OpenAI comme un mécanisme donnant la priorité à la sécurité, mais les informations selon lesquelles du personnel chargé de la sécurité aurait été réaffecté à la gestion de la charge de ChatGPT sont préoccupantes. Le conseil a désormais montré que, même s’il en avait techniquement la possibilité, il n’était pas assez fort pour contrôler ces intérêts, et on voit mal comment des organisations orientées sécurité, y compris Anthropic, pourraient échapper à l’influence accélérationniste de leurs financeurs
Ils ne savent pas planifier, ne savent pas faire de l’arithmétique et ne savent pas raisonner. Ils permettent de rechercher approximativement des connaissances au moyen de requêtes en langage naturel, ce qui est plutôt bon, et d’encoder des données en langage naturel et dans d’autres modalités. Ce n’est pas cela qui m’inquiète en soi, mais le fait que les gens comprennent très mal ce que ces modèles peuvent faire et veuillent ensuite les utiliser pour des tâches importantes
Je ne pensais vraiment pas qu’une telle chose arriverait. La prochaine question est évidemment de savoir ce qu’il adviendra d’Ilya. D’après cette annonce, il semble avoir quitté le conseil ; mais est-il toujours scientifique en chef ? J’ai du mal à croire que lui et Sam puissent rétablir leur relation au point de travailler aussi étroitement ensemble
Il est aussi intéressant qu’Adam reste au conseil, ce qui semble contredire plusieurs hypothèses qui circulaient ici, selon lesquelles il aurait été le meneur en raison de conflits d’intérêts
Si Ilya reste marginalisé, il partira probablement, et l’entreprise qui lui offrira le plus de contrôle le recrutera. Même chose s’il est licencié. S’il est replacé au centre dans le cadre de l’accord, il restera probablement scientifique en chef. J’espère que l’hostilité de Sam va maintenant un peu diminuer
Il savait sans doute qu’on se moquerait de lui sur Internet pour avoir fait volte-face, mais il a agi dans le sens qu’il pensait être le meilleur pour les employés signataires. Ses actes peuvent être critiqués, mais je pense qu’ils révèlent son caractère moral. Les autres membres du conseil semblent avoir décidé pour des raisons plus personnelles, ce qui paraît aussi cohérent avec les conflits d’intérêts d’Adam. Honnêtement, parmi les quatre, Ilya est le seul que je voudrais garder au conseil. À un poste de leadership, il faut quelqu’un capable de changer de cap à la lumière de nouvelles informations
Le nouveau conseil semble composé d’Adam D’Angelo, plutôt pro-conseil, de Brett Taylor, plutôt pro-Sam, et de Larry Summers, qui paraît assez proche du neutre. Brett poussait au retour de Sam depuis dimanche, donc je suppose que Sam et la direction d’OpenAI l’apprécient. Larry n’a jamais travaillé dans l’IA, mais c’est un nom généralement respecté, et les deux camps ont probablement mené de nombreux entretiens et vérifications de réputation avant de parvenir à un compromis
Il sera intéressant de voir comment le conseil évoluera. Il y avait grosso modo deux factions. Celle qui estimait que Sam allait trop vite l’a démis de ses fonctions ; celle qui jugeait la trajectoire de Sam acceptable comprenait Sam et Greg. Le conseil est désormais équilibré, et les nominations à venir pourraient le faire pencher d’un côté ou de l’autre. Malheureusement, un conseil divisé tient rarement longtemps, et il est probable qu’un camp finisse par l’emporter. Je pense que le camp de Sam finira par gagner, mais il faudra voir
L’une des conséquences les plus tristes de ce drame est que Greg a été écarté d’OpenAI. Greg n’est pas seulement quelqu’un de brillant : il a constamment consacré 80 à 90 heures par semaine à OpenAI, et on peut dire qu’il a dédié une grande partie de sa vie à construire cette organisation. Que quelqu’un comme lui ait dû partir à cause d’un conseil qui n’a presque pas contribué à créer OpenAI, encore moins en y travaillant 90 heures par semaine, est insultant. Ilya est l’exception, et il est remarquable qu’il ait changé de position en voyant que ses actes étaient en train de tuer OpenAI