Décès de Doug Lenat
(substack.com/garymarcus)- Le chercheur en IA Doug Lenat a été une figure majeure ayant tenté de transformer en système réel l’IA symbolique, qui traite des représentations explicites, et Gary Marcus l’a décrit comme « le géant que l’IA a perdu »
- Lenat a consacré les 40 dernières années de sa vie à Cyc, dans le but d’encoder le sens commun sous une forme interprétable par la machine, et Cycorp a perduré pendant 40 ans sans grand succès commercial
- L’approche de Cyc visait de front le problème de la représentation et du raisonnement de sens commun, un domaine où les grands modèles de langage (LLM) ont encore du mal aujourd’hui
- Ken Forbus et Muktha Ananda saluent fortement l’influence laissée par Cyc sur la recherche en représentation symbolique, en raisonnement et en graphes/web de connaissances
- L’un des derniers articles de Lenat, Getting from Generative AI to Trustworthy AI, était une tentative de relier les enseignements de Cyc aux LLM modernes
La place de Doug Lenat et de Cyc
- Doug Lenat était un chercheur qui a tenté de faire fonctionner concrètement l’IA symbolique explorée par Marvin Minsky, John McCarthy, Allen Newell et d’autres
- Gary Marcus explique avoir fait de l’intégration entre réseaux de neurones et IA symbolique le thème de toute sa vie, mais considère que Lenat était allé bien plus loin dans le domaine de l’IA symbolique pure
- Lenat a lancé et dirigé le projet Cyc pendant les 40 dernières années de sa vie
- Cyc était une tentative d’encoder le sens commun sur le monde dans une forme que la machine puisse interpréter
- Cyc, ainsi que Cycorp créé pour l’héberger, n’ont pas connu de grand succès commercial
- Malgré cela, le fait que Cycorp poursuive encore son activité 40 ans plus tard reste un cas rare parmi les entreprises d’IA
- Pour Marcus, Cyc est une expérience pionnière difficile à classer simplement comme une réussite ou un échec
- Cyc ne s’est pas complètement imposé, mais son importance pourrait paraître encore plus grande à mesure que de réels progrès vers l’intelligence artificielle générale se concrétisent
Le problème du raisonnement de sens commun et le dernier article
- Une grande partie des jeunes chercheurs en IA connaissent mal Cyc, mais l’idée sous-jacente est qu’ils devraient au moins savoir ce que Cyc a essayé de faire
- Il ne s’agit pas de proposer Cyc comme remplaçant immédiat des grands modèles de langage
- L’objectif de permettre à la machine de représenter et raisonner sur le sens commun demeure
- La conférence TED 2023 de Yejin Choi, Why AI is incredibly smart and shockingly stupid, s’inscrit dans cette idée selon laquelle les systèmes d’IA actuels manquent encore de sens commun malgré leurs succès apparents
- Le livre de Marcus et Ernie Davis publié en 2019, Rebooting AI, traite également du même sujet
- Les grands modèles de langage peuvent, selon la formulation de la question ou les contingences des données d’entraînement, donner parfois la bonne réponse et parfois la mauvaise, créant ainsi une illusion de sens commun
- Même si l’on corrige des erreurs précises, d’autres cas similaires peuvent continuer d’apparaître
- Cyc était une tentative pour trouver une réponse plus profonde et plus robuste
- Le chercheur en IA de la Northwestern University, Ken Forbus, considère Cyc comme le premier exemple ayant montré que la représentation symbolique et le raisonnement pouvaient capturer une part importante du sens commun
- Dans l’industrie, les bases de connaissances contenant des milliards de faits sont courantes, mais il estime que Cyc reste le système le plus avancé en matière d’expressivité
- Le groupe de recherche de Forbus utilise depuis des décennies les représentations de Cyc
- Muktha Ananda, directrice de la Learning Platform chez Google, a salué la vision, la persévérance et la ténacité de Lenat, et a indiqué que le travail sur Cyc avait été une source majeure d’inspiration dans son parcours de recherche sur les graphes/web de connaissances
- Marcus et Lenat avaient tenté, au cours de l’année écoulée, d’écrire ensemble un long article récapitulant les enseignements tirés de Cyc
- Le manuscrit approchait les 40 000 mots et mêlait science et histoire orale
- Cyc était remarquable par son ampleur, mais sa mise en œuvre était difficile à manier, et son principal problème du point de vue académique était d’être un système propriétaire
- Lorsque Lenat est tombé malade et que le temps a commencé à manquer, il a rédigé séparément un article plus court et plus condensé
- Le 31 juillet 2023, arXiv a publié Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc
- Il revient sur ce que Cyc a tenté d’accomplir
- Il condense les éléments que l’on devrait attendre d’une véritable intelligence artificielle
- Il appelle à une réconciliation entre la profonde tradition de l’IA symbolique à laquelle Lenat appartenait et les LLM modernes
1 commentaires
Avis sur Hacker News
Doug était parfois direct, mais c’était fondamentalement quelqu’un de gentil et généreux, et son engagement envers sa vision comme envers les personnes qui travaillaient avec lui mérite le respect.
J’ai travaillé chez Cycorp de 2016 à 2020, et comme les bureaux n’étaient pas très grands, je voyais souvent Doug.
Une fois, lors du déjeuner hebdomadaire réunissant toute l’équipe, il a dit qu’il comptait acheter une nouvelle voiture et a demandé si quelqu’un avait besoin de son ancienne voiture, vieille mais bien entretenue. Quand une employée a timidement levé la main en expliquant que sa fille allait bientôt commencer à conduire, il lui a tout simplement offert la voiture sur-le-champ.
Il aimait aussi les jeux de société et participait à un groupe de D&D avec des gens de l’entreprise ; j’ai entendu dire qu’il jouait toujours des personnages loyal bon. On disait qu’il ne savait pas faire autrement.
Quand j’avais 17 ans et que j’étais lycéen, j’ai passé un entretien avec Doug Lenat ; j’ai été recruté comme stagiaire d’été chez Cycorp, ce qui a été mon premier vrai travail de programmation.
Ce stage a changé ma vie, et je serai toujours reconnaissant à Doug d’avoir littéralement pris le risque de donner sa chance à un gamin.
Doug était un informaticien brillant et un pionnier de l’intelligence artificielle. Comme Cycorp était une petite entreprise, j’assistais à beaucoup de réunions, et il était évident qu’il comprenait tous les détails de la technologie.
Cycorp avait 30 ans d’avance sur son temps, mais dans les faits cela ne fonctionnait pas ; pour expliquer à quelqu’un qui ne connaît pas, c’était la première grande tentative commerciale de créer une intelligence artificielle générale, en quelque sorte le premier équivalent d’OpenAI.
J’ai beaucoup appris de Doug sur la manière de nourrir des ambitions démesurées et de ne pas abandonner ; j’ai rarement vu quelqu’un tenir Cycorp pendant des décennies, maintenir le financement, recruter des personnes formidables et continuer à pousser le problème aussi loin.
Je me demande aussi ce que tu faisais exactement comme stagiaire à 17 ans, et quelles compétences techniques tu avais.
J’ai travaillé avec Doug sur Cyc vers 1985-1989. Nous nous étions aussi croisés au PARC, mais nous n’y avons pas beaucoup échangé.
Mon premier travail a consisté à jeter l’implémentation existante et à repartir de zéro, en concevant le système de hiérarchie et tout le code de bootstrap.
C’était une période amusante, avec une petite équipe noyau — surtout Guha, Doug et moi — mais avec le temps, l’arbitraire de la base de connaissances m’a de plus en plus contrarié.
Au moment où j’ai quitté le projet Cyc pour des raisons personnelles, même si nous étions proches et que le projet tournait sur mon code, j’étais assez négatif sur ses fondations.
Ce n’est qu’avec le temps, en devenant plus intelligent, que j’en ai de nouveau reconnu la valeur ; à l’époque, je crois que je le regardais trop uniquement d’un point de vue de mathématiques pures.
Par la suite, en travaillant sur autre chose, j’ai perdu le contact avec Doug et Mary, et je le regrette.
Paix à l’âme de Doug Lenat. J’ai travaillé chez Cycorp à Austin de 2000 à 2006.
Il est parti beaucoup trop tôt, mais Doug a eu l’occasion de contribuer aux progrès de la recherche en informatique des agences militaires et de renseignement américaines.
Un jour, lorsque les progrès rapides de l’intelligence artificielle via les LLM ralentiront, l’attention reviendra au Cyc Project et à Cycorp, à leurs membres, ainsi qu’au raisonnement logique et à la représentation des connaissances que le Dr Doug Lenat a défendus avec acharnement.
Car si l’inférence par réseaux neuronaux était aussi rapide, nous ne compilerions pas les programmes C en raisonnement logique déductif exécuté efficacement par un compilateur : nous les compilerions en réseaux neuronaux.
Au contraire, grâce aux LLM, ils sont plus actuels que jamais.
L’intelligence artificielle neuronale et l’intelligence artificielle symbolique finiront par fusionner, et les modèles symboliques apportent, grâce à la normalisation, l’efficacité et la robustesse indispensables.
À quoi bon laisser toutes ces données prendre la poussière sans grand résultat ?
Qui affirme que l’inférence neuronale est le moyen le plus rapide d’exécuter tous les calculs ?
Plutôt que de dénigrer une autre technologie, les réseaux neuronaux, il vaudrait mieux se concentrer sur la manière de résoudre des problèmes réels avec des méthodes symboliques. Par exemple, comment construire avec des méthodes symboliques un système robuste de détection de spam par e-mail ?
Si vous voulez en savoir plus sur les travaux et la pensée de Doug, Lex Fridman a réalisé l’an dernier une interview assez longue avec lui
https://www.youtube.com/watch?v=3wMKoSRbGVs&pp=ygUabGV4IGZya...
Doug dit qu’environ cinq ans plus tard, il a compris que cette estimation se trompait d’un ordre de grandeur, et qu’en réalité on était plutôt autour de 10 millions
Je me demande s’il existe de la littérature ou des publications à ce sujet. Je me demande comment on sait que ce n’est pas 100 millions, pourquoi on peut considérer que c’est fini, et pourquoi il n’y a pas d’explosion combinatoire
Bien sûr, pour poursuivre pendant 38 ans, il devait y avoir des métriques d’évaluation en continu, mais je ne comprends pas bien la logique, donc des références ou des liens critiques m’intéresseraient
J’avais entendu parler de Cyc dans les années 1990, mais je ne savais pas que c’était encore en vie ; c’est impressionnant d’avoir maintenu ça aussi longtemps
L’article Wikipédia est aussi plutôt bon : https://en.wikipedia.org/wiki/Cyc#Criticisms
Cela dit, l’affirmation de 1 million ou 10 millions est forte pour tenir pendant des décennies, donc je me demande si elle était vraiment étayée par des indicateurs solides
Ce qui rend la lecture de l’article lié intéressante, c’est que j’ai toujours trouvé séduisant de transformer les principes qu’ils pensaient devoir se trouver à l’intérieur de l’ordinateur en une structure externe à la communauté
Il me semblerait très utile que les gens puissent explorer et enrichir au fil du temps, en collaboration, un corpus d’arguments et de conclusions, en n’étant pas d’accord avec certaines parties du graphe d’arguments ou en y ajoutant des éléments
D’autres pourraient alors lire le même raisonnement et l’adopter
J’expérimente ce genre d’idées sur http://concludia.org/, auquel je travaille de temps en temps, mais pour l’instant c’est surtout un prétexte pour manipuler le concept et mieux apprendre la programmation avec Akka(Pekko)
Un jour, je compte ajouter des comptes utilisateur et des arguments modifiables pour en faire un vrai site web
Les arguments sont reliés aux preuves, les concepts aux concepts associés, etc.
https://en.m.wikipedia.org/wiki/Zettelkasten
Ça pourrait être utile pour du brainstorming
L’idée m’est venue en imaginant un moyen de faire converger le débat public dans un pays fortement polarisé politiquement
Une sorte de forum de débat public structuré, où les gens pourraient mieux voir à quel niveau de la hiérarchie leurs opinions divergent et, plus important encore, à quel point ils sont en réalité d’accord sur beaucoup de choses
J’ai toujours vu Cyc comme une sorte de version IA des Principia de Russell et Whitehead
Techniquement ambitieux et intéressant en soi, mais avec l’impression qu’au bout du compte, en tant qu’approche autonome, c’est une fausse piste qui ne fonctionnera pas correctement, même si l’on y travaille indéfiniment et que l’on continue d’ajouter des règles
Je pense tout de même que cela peut être utile pour tester et entraîner des modèles de réseaux neuronaux
À l’époque où Lenat a lancé Cyc, on ne disposait pas des ressources de calcul nécessaires pour faire tourner des modèles de réseaux neuronaux capables de montrer ce que les gens appelleraient aujourd’hui du « raisonnement de bon sens », donc il est tout à fait compréhensible qu’il soit parti dans cette direction
« Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc »
C’est le dernier article de Lenat, publié le 31 juillet avec Gary Marcus
https://news.ycombinator.com/item?id=37354601
Cet article pourrait ébranler deux idées : celle selon laquelle les modèles neuronaux actuels, c’est-à-dire les LLM, feraient preuve de raisonnement de bon sens, et celle selon laquelle l’approche représentée par Cyc et celle représentée par les LLM seraient mutuellement exclusives
En lisant la fin du texte, je me dis que je devrais rendre publics davantage de choses que j’ai créées et pensées
Je ne suis pas Doug Lenat, et mon contenu risque surtout d’ajouter du bruit à Internet, mais il ne faut tout de même pas laisser ses idées mourir avec soi, ni les laisser être contrôlées par un conseil d’administration de parties prenantes
Je ne suis pas un fanatique de l’open source, mais l’open source est un bon moyen de permettre à d’autres de poursuivre ce que j’ai commencé
Au cours de l’année écoulée, Gary Marcus et Doug ont tenté d’écrire un article long et complexe qu’ils n’ont finalement pas achevé, et si Cyc était immense par son périmètre, sa mise en œuvre était difficile à manier
Du point de vue académique, le plus gros problème de Cyc était qu’il s’agissait d’un logiciel propriétaire
Doug voulait transmettre aux chercheurs de la génération suivante les leçons tirées de Cyc, afin que davantage de personnes les comprennent : ce qui avait bien fonctionné et pourquoi, quand et pourquoi cela avait échoué, ce qui avait été difficile à implémenter, ce qu’il aurait fallu faire autrement, etc.
L’un de ses derniers e-mails était une supplication pour publier l’article le plus vite possible et, après bien des péripéties, Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc (https://arxiv.org/ftp/arxiv/papers/2308/2308.04445.pdf) a été mis en ligne sur arXiv le 31 juillet
C’est un texte court, mais à la fois une revue de ce que Cyc cherchait à accomplir, un résumé de ce que l’on devrait attendre d’une véritable intelligence artificielle, et un appel à réconcilier la profonde tradition symbolique dont il était issu avec les grands modèles de langage modernes
Il suffit de partager ce que l’on juge important
Même une petite amélioration des connaissances, qui semble peu probable, peut avoir du sens. Si elles sont assez nombreuses, statistiquement, elles peuvent faire bouger les lignes
Bien sûr, encore faut-il pouvoir trouver le contenu pertinent, et c’est déjà un gros problème en soi
Je ne l’ai jamais rencontré en personne, mais le travail de Doug a été l’une de mes plus grandes sources d’inspiration en informatique
Il me semble approprié de mettre en lien un billet de blog que j’ai écrit en 2018. Il y résume brièvement la trajectoire du travail de Lenat jusqu’à Cyc et rassemble des liens vers des articles
http://blog.funcall.org//lisp/2018/11/03/am-eurisko-lenat-do...
Cyc, qui se prononce « Syke », est un projet que je trouvais vaguement intéressant depuis longtemps, mais je n’ai jamais eu le temps ni l’énergie de m’y pencher sérieusement
C’est un projet d’intelligence artificielle fondé sur une ontologie exhaustive et une base de connaissances
Aperçu Wikipedia : <https://en.wikipedia.org/wiki/Cyc>
Site du projet/de l’entreprise : <https://cyc.com/>
C’était la dernière grande tentative de faire de l’intelligence artificielle de façon « propre », et son échec a contribué à faire émerger l’approche « brouillonne » de l’IA qui connaît aujourd’hui un grand succès
Cet échec ne diminue en rien Doug. Quelqu’un devait essayer, et il est heureux que ce soit l’une des personnes les plus brillantes
Je pense qu’il s’y est accroché longtemps après qu’il était devenu évident que cela ne fonctionnerait pas, mais des percées se produisent réellement
L’essor actuel du machine learning est lui-même la résurgence de techniques qui avaient été abandonnées à une époque, et les personnes qui s’y étaient tout de même accrochées ont découvert les astuces qui les ont fait fonctionner
Il y a quelques années, j’ai travaillé avec un cabinet de conseil qui voulait se lancer dans l’intelligence artificielle, et qui avait choisi Cyc comme plateforme à vendre principalement à des clients du secteur financier
Mais je n’ai pas l’impression qu’un seul vrai projet ait jamais démarré, et il n’y avait pas non plus d’idée claire de ce qui pouvait être vendu
Je ne veux pas voir Lenat comme un escroc. Il avait l’air sincère et brillant
Cela dit, je pense que Cyc a été énormément survendu, alors qu’il n’a presque rien accompli d’utile. Le site web est rempli de formulations techniques, mais après 40 ans d’activité, il ne présente pas une seule étude de cas