Tous les commentaires : ce fil contient plus de 1 800 commentaires ; si vous voulez tous les lire, cliquez sur « More » en bas de chaque page ou utilisez le lien fourni.
Si OpenAI reste une organisation à but non lucratif, un membre du conseil lié à Microsoft aurait l’obligation légale de promouvoir la mission de l’organisme caritatif, et non les besoins business de Microsoft, ce qui pourrait créer un conflit d’intérêts évident. On peut s’attendre à ce que l’IRS n’apprécie pas ce type de structure.
Avec le retour de Sam Altman au poste de CEO, cela peut être vu comme la preuve que le conseil d’administration d’OpenAI a perdu toute capacité d’action. Le conseil n’est plus en mesure d’exercer son droit de révoquer Sam, et Sam peut désormais agir comme il l’entend. Sans l’accuser ni mal interpréter ses intentions, certains craignent qu’il puisse mentir ou se comporter de façon inappropriée.
Cela rappelle l’affaire Coca-Cola et New Coke, qui a finalement rendu le Coca original encore plus populaire. Les consommateurs ont fortement réclamé le retour du goût familier, et certains journalistes ont même supposé que tout cela relevait d’une stratégie de communication.
Dans l’affrontement entre un développeur et un homme d’affaires, c’est l’homme d’affaires qui l’a emporté, et le fait que le conseil ait cédé lorsque des centaines de développeurs ont menacé de partir montre que les développeurs détenaient réellement du pouvoir.
Ilya a quitté le conseil, mais Adam est toujours là. Cela peut faire lever quelques sourcils, mais le retour de Sam entraînera de profonds changements chez OpenAI, et il est peu probable qu’OpenAI devienne à long terme un grand groupe comme Facebook ou Uber. Il existe une perception de perte de confiance.
Il y avait un conflit entre l’équipe de commercialisation rapide et l’équipe attachée aux principes, et cela apparaissait déjà dans des écrits antérieurs à GPT-3. Seule une minorité du public s’intéresse à la sécurité de l’IA ; les autres se contentent que ChatGPT les aide à faire leurs devoirs. On peut se moquer de l’ignorance du conseil, mais si quelqu’un prend réellement au sérieux la menace d’une superintelligence, il faut essayer de comprendre ses actes.
Personnellement, je ne considère pas la menace liée à la sécurité de l’IA comme très grave, mais il faut faire l’effort de comprendre. Espérons que le jour où l’équipe de Helen dira « c’était exactement ce que nous essayions d’empêcher » n’arrive jamais.
Il y avait de l’espoir pour une approche de la sécurité de l’IA portée par le secteur privé, mais cela semble désormais impossible, et la lenteur de l’investissement public national dans la R&D sur l’IA fait paraître toutes les approches de sécurité de l’IA impraticables. La recherche en sécurité sur des modèles jouets continuera de progresser, mais l’industrie estime qu’il existe une limite à ce qu’on peut apprendre sur la sécurité sans travailler sur des modèles de pointe.
Altman affirmait que la structure de gouvernance d’OpenAI était un mécanisme garantissant la priorité donnée à la sécurité, mais des rapports internes indiquant que la recherche sur la sécurité était redéployée pour maintenir l’exploitation de ChatGPT suscitent des inquiétudes. Le fait qu’il apparaisse que le conseil en avait techniquement la possibilité, mais pas assez de pouvoir pour gérer les parties prenantes, soulève une question : une organisation accordant de l’importance à la sécurité, y compris Anthropic, peut-elle réellement échapper à l’influence accélérationniste de ses financeurs ?
Paul Graham a déclaré : « Si vous revenez dans cinq ans, Sam sera le roi de cette île. »
Beaucoup défendent le récit selon lequel les VC/Microsoft ont renversé la structure de gouvernance d’une organisation à but non lucratif à cause de leur logique de profit, mais je ne pense pas que ce soit le cas. La décision a été prise parce que 95 % des employés ont soutenu Sam sur cette question, et que le conseil n’a absolument pas expliqué sa position. Sam, 95 % des employés et tous les investisseurs étaient opposés au conseil, et le conseil devait perdre ici. Parce qu’il gouvernait pour lui-même. Au final, le résultat a été juste et positif, et je pense que la structure de gouvernance destinée à résoudre la question de l’AGI reste appropriée, mais ce conseil-ci était extrêmement inadapté.
1 commentaires
Avis Hacker News