Des chercheurs d’OpenAI ont envoyé au conseil d’administration une lettre d’avertissement sur une avancée en IA avant l’éviction du CEO

• Des chercheurs d’OpenAI ont envoyé au conseil d’administration, quatre jours avant l’affaire Sam Altman, une lettre avertissant d’une puissante découverte en intelligence artificielle
• Le contenu exact de la lettre n’a pas été confirmé, mais les chercheurs y soulignaient les capacités de l’IA et ses risques potentiels

Avancées du projet Q*

• OpenAI pense en interne avoir réalisé, avec un projet appelé Q*, une percée vers l’intelligence artificielle générale (AGI)
• Q* a suscité de fortes attentes chez les chercheurs en montrant une capacité à résoudre des problèmes de mathématiques de niveau école primaire
• Contrairement à une calculatrice, qui ne résout que des opérations limitées, l’AGI possède des capacités de généralisation, d’apprentissage et de compréhension

SUPERINTELLIGENCE

• Les mathématiques sont en première ligne des progrès de l’IA générative : aujourd’hui, l’IA excelle en rédaction et en traduction en prédisant statistiquement le mot suivant
• La capacité à résoudre des problèmes de mathématiques suggère que l’IA pourrait acquérir des capacités de raisonnement proches de l’intelligence humaine
• Ces capacités pourraient être appliquées à de nouvelles recherches scientifiques

L’avis de GN⁺

• Le point le plus important de cet article est que les chercheurs d’OpenAI ont averti le conseil d’administration des risques potentiels de l’IA, ainsi que les progrès du projet Q*.
• Cette découverte, qui semble rapprocher d’un pas l’intelligence artificielle générale (AGI), peut susciter un débat passionnant sur l’avenir des technologies de l’IA et leur impact sur l’humanité.
• Avec les possibilités positives qu’apporte le développement de l’IA, c’est aussi un sujet attractif car il peut contribuer à une meilleure prise de conscience des risques potentiels.

[cosine20]

Mais ce genre de chose, ce n’est pas juste une question de temps, au fond ? Même si OpenAI, qui a pris de l’avance, retarde la publication ou l’annule, j’ai l’impression que d’autres concurrents ou la communauté open source finiront bien par sortir quelque chose de similaire un jour...

[GN⁺]

Avis Hacker News

• En lien avec une théorie publiée sur 4chan il y a quelques jours, il est avancé que si une version était officiellement déclarée comme AGI (intelligence artificielle générale), il deviendrait impossible d’en concéder la licence à Microsoft et à d’autres à des fins de profit commercial. Selon cette thèse, Altman ne voudrait donc pas que cela soit qualifié d’AGI, contrairement à d’autres membres du conseil d’administration.
• Il est fait mention d’une découverte selon laquelle un nouveau modèle appelé Q* aurait pu résoudre un certain niveau de problèmes de mathématiques en utilisant d’immenses ressources de calcul. Ce modèle aurait réussi à résoudre des problèmes de mathématiques de niveau primaire, et les chercheurs seraient très optimistes quant à ses succès futurs.
• Deux commentaires récents de Sam Altman liés à la découverte de Q* sont mentionnés. L’un a été fait à l’APEC le 18 novembre, l’autre est un post publié sur Twitter le 22 septembre. Ils évoquent les avancées d’OpenAI et des moments de découverte.
• Il est avancé que mettre des limites à la richesse et au pouvoir individuels est une bonne idée. On a déjà vu des compagnies pétrolières détruire la planète pour le profit, et des entreprises technologiques violer la vie privée pour le profit, d’où la question de ce que Sam Altman ferait ou ne ferait pas pour le profit.
• Il y a environ un mois, Sam Altman a laissé un commentaire disant que l’IA pouvait produire des résultats très étranges avant d’atteindre une intelligence générale accompagnée de capacités de persuasion surhumaines. Le conseil d’administration a peut-être été surpris par une percée récente et a appuyé sur le bouton d’urgence ; disposer d’une capacité de « persuasion surhumaine » avant un cycle électoral pourrait avoir d’énormes conséquences si elle tombait entre de mauvaises mains.
• Un jour, l’IA accomplira 50 % des emplois, prendra des décisions majeures, nous ferons des trajets dans des véhicules conduits par l’IA, et des gens auront des relations amoureuses avec l’IA ; pourtant, même à ce moment-là, nous débattrons encore pour savoir si ce qui a été créé est vraiment une AGI. L’AGI sera toujours perçue comme l’étape suivante, et un jour nous réaliserons que nous avons déjà franchi cette frontière il y a des années.
• Il y a là des éléments qui aident à expliquer pourquoi le conseil d’administration d’OpenAI ne faisait pas confiance à Sam Altman et pensait qu’il valait mieux faire exploser l’entreprise que poursuivre l’exploration de cette technologie.
• Cela correspond davantage au contenu de la lettre liée au licenciement de Sam Altman par le conseil d’administration : ne pas avoir signalé une découverte majeure et l’avoir apprise via une lettre des employés peut être considéré comme un manque de franchise. De plus, si l’on suppose un scénario apocalyptique, la question se pose de savoir combien de temps un tel secret pourrait être gardé pour éviter qu’il ne tombe entre les mains de personnes mal intentionnées.
• Certains estiment qu’OpenAI adopte une approche pionnière en matière de stratégie marketing. Le message serait du type : « Nous avons une AGI puissante dans cette armoire, et elle est tellement puissante que nous ne voulons pas la laisser sortir », tout en demandant de l’argent aux gens au nom de la sécurité.
• Un parent a raconté une conversation avec son fils de 12 ans à propos de la partie ennuyeuse des mathématiques, et celui-ci a dit qu’il trouvait la valeur absolue très simple et ennuyeuse. En entendant son fils dire que cela pourrait devenir plus intéressant avec les nombres complexes, ce parent a compris qu’il saisissait que, dans le plan complexe, la valeur absolue correspond à l’hypoténuse formée par les parties réelle et imaginaire. Une telle compréhension ne vient pas simplement du fait de disposer d’un grand dictionnaire de synonymes, mais d’une compréhension des mécanismes fondamentaux. La question est alors posée de savoir par quel processus un grand modèle de langage pourrait parvenir à une conclusion de ce type.