Nécrologie de Cyc
(yuxi-liu-wired.github.io)- Cyc est un projet d’AGI fondé sur une base de connaissances de sens commun, lancé en 1984 par Douglas Lenat ; malgré 30 millions d’assertions, 200 millions de dollars et 2 000 années-personnes, il n’a laissé aucune preuve d’intelligence générale
- Lenat estimait qu’AM et EURISKO épuisaient leurs heuristiques initiales, et voulait amorcer une knowledge pump en faisant d’abord saisir par des humains des millions de faits et règles de sens commun
- Cyc disposait de CycL, de microthéories, d’environ 1 100 moteurs d’inférence et d’un parsing limité du langage naturel, mais n’a pas atteint le stade où il lisait des textes en langage naturel pour apprendre de façon autonome
- Les applications gouvernementales et commerciales publiquement vérifiables — Terrorism Knowledge Base, cas Cleveland Clinic, sécurité réseau, intégration de données, etc. — ne se distinguaient guère des systèmes experts et méthodes de recherche d’information existants
- Cycorp a obtenu une stabilité financière de long terme et quelques succès commerciaux, mais son caractère fermé, l’absence de benchmarks et l’arrêt d’OpenCyc ont limité son influence dans la recherche en IA externe et la recherche de connaissances
Évaluation essentielle de Cyc
- Cyc était un projet d’AGI fondée sur l’IA symbolique que Douglas Lenat a poursuivi pendant 40 ans
- L’objectif était de créer un système encodant à grande échelle les connaissances de sens commun humaines dans un langage logique, puis réalisant inférence et apprentissage par-dessus
- Le projet a atteint une échelle d’environ 30 millions d’assertions, 200 millions de dollars et 2 000 années-personnes
- La percée que Lenat annonçait à répétition n’est jamais arrivée
- En 2016, Lenat disait que Cyc était proche d’être « done », mais aucune preuve d’apprentissage autonome ni d’AGI n’est apparue
- En 2025, même en partant du principe que la knowledge pump est amorcée depuis 9 ans, il n’existe aucun signe d’atteinte d’une intelligence générale
- Des archives supplémentaires liées à Cyc sont disponibles dans cyc-archive
La logique menant d’AM et EURISKO à Cyc
- Le point de départ de Lenat était Automated Mathematician (AM), son projet de thèse de doctorat de 1976
- AM aurait commencé avec 115 concepts de théorie des ensembles et environ 250 règles heuristiques, puis redécouvert les entiers naturels, les nombres premiers, la conjecture de Goldbach, etc.
- Mais AM ne parvenait pas à créer de nouvelles heuristiques et montrait la limite consistant à « die of boredom » une fois les heuristiques initiales épuisées
- Le système suivant, EURISKO, tentait de faire découvrir les heuristiques elles-mêmes
- Il a remporté en 1981 et 1982 le tournoi The Trillion Credit Squadron de Traveller grâce à des conceptions de flottes non orthodoxes
- Selon l’estimation de Lenat, la version finale d’EURISKO a exécuté au total 1 300 CPU-hours sur une machine Lisp Xerox 1100, et la victoire à Traveller relevait à « 60/40 % Lenat/EURISKO »
- EURISKO n’a finalement pas échappé non plus à l’auto-épuisement
- L’auto-découverte de règles heuristiques dépendait de règles méta-heuristiques, lesquelles perdaient elles-mêmes leur force après quelques utilisations
- Lenat en a conclu que, pour continuer à produire de nouvelles analogies et idées comme les humains, il fallait une vaste connaissance de sens commun
Conception de Cyc et knowledge pump
- Cyc a commencé en 1984 au sein de MCC, puis s’est poursuivi avec Cycorp Inc.
- Le plan initial consistait à encoder manuellement 400 articles d’encyclopédie entre 1985 et 1988, puis 30 000 articles entre 1988 et 1993, avant d’utiliser le tout pour des problèmes d’IA et des applications commerciales
- L’estimation initiale était que les phases 1 et 2 nécessiteraient 150 années-personnes
- Le projet a déplacé son attention de l’encodage de « l’encre noire » de l’encyclopédie vers l’encodage du white space, c’est-à-dire du sens commun que l’encyclopédie présuppose sans l’écrire
- Le problème était qu’une phrase comme « Napoleon died in 1821. Wellington was greatly saddened. » exige de comprendre des connaissances de sens commun sur la mort, le temps, la guerre, la France et les émotions humaines
- La métaphore de la knowledge pump de Lenat est devenue la stratégie centrale de Cyc
- Au début, des humains alimentent directement le système en connaissances, à la cuillère
- À mesure que les connaissances augmentent, on s’attendait à ce qu’il parse mieux les phrases en langage naturel vers de la logique, et que l’intervention des ontologues diminue
- Après un certain point, on s’attendait à ce que Cyc lise des textes, dialogue avec des humains et continue d’accroître ses connaissances par lui-même
CycL, microthéories et structure d’inférence
- Les principaux composants de Cyc sont CycL, la base de connaissances et les moteurs d’inférence
- CycL est fondé sur SubLisp et dispose d’un Epistemological Level (EL), langage de haut niveau lisible et inscriptible par des humains, ainsi que d’une traduction Heuristic Level (HL) pour l’efficacité de l’inférence
- Une phrase EL peut être traduite en plusieurs phrases HL et traitée par différents moteurs d’inférence
- Les expressions CycL utilisent une forme proche de Lisp :
(#$relation <arg1> … <argn>)- Si
#$relationest une fonction, c’est un terme ; si c’est un prédicat, c’est une assertion ou une phrase - Les relations spéciales comme
#$implies,#$forAllet#$thereExistsservent de règles d’inférence
- Si
- Cyc empaquette les assertions dans des microtheories (Mt) ou contextes
- « Socrates is alive » peut être vrai dans un contexte de 500 av. J.-C., mais pas dans un contexte de 1995
- Des croyances mutuellement incompatibles peuvent être placées dans des contextes différents, comme
#$ChristianMtet#$IslamMt - En 2010, Cyc comptait plus de 20 000 microthéories organisées en hiérarchie, certaines atteignant 50 niveaux de profondeur
- Les moteurs d’inférence sont passés à environ 1 100
- Le moteur d’inférence général étant trop lent, des modules heuristiques spécialisés pour certains motifs et microthéories ont été ajoutés en continu
- Selon Lenat et al. 2007, la structure rapportée comprenait 1 strategist, 4 tacticians et 1 097 workers
- En 2010, il a été expliqué qu’il était plus rapide de désactiver le moteur d’inférence le plus général, et qu’il avait donc été complètement désactivé
Le goulot d’étranglement laissé par la compréhension du langage naturel
- Le problème de la conversion de CycL vers le langage naturel était en grande partie cadré dès la fin des années 1990
(#$genls #$Dog #$Mammal)peut être converti en « Dogs are mammals. »- Des concepts de mots et des assertions de dénotation relient les mots anglais aux concepts Cyc
- À l’inverse, le problème English → CycL, c’est-à-dire parser le langage naturel vers CycL, est resté difficile
- Le NLP de Cyc utilise un système à niveaux comprenant keyword matching, extraction templates, syntax templates et parsing d’arbres syntaxiques complets
- Le dictionnaire contient environ 200 000 words and phrases et encore davantage d’assertions
- Les exemples publiés d’English → CycL sont très peu nombreux et relèvent de phrases plutôt faciles
- « A girl is on a white lounge chair »
- « Bill Clinton sleeps. »
- « An AI researcher is a kind of computer scientist. »
- « Did you touch a blue object located in the capital of France on September 25th, 2022? »
- Dans le dernier travail commun de Lenat et Gary Marcus, le dernier goulot d’étranglement restait la compréhension du langage naturel (NLU)
- Chaque axiome est intégré à la base de connaissances après validation humaine de sa default correctness, de sa généralité et de son placement en microthéorie
- Cyc peut lire l’interlingua CycL, mais parser l’anglais vers CycL est resté difficile
Applications publiques et usages commerciaux
- Cycorp a opéré longtemps auprès de clients militaires, d’agences de renseignement et de clients commerciaux
- En 2002, le coût total était de 60 millions de dollars, dont 25 millions provenaient de l’armée
- Selon une citation de 2005, depuis le premier grand contrat gouvernemental de 1996, environ la moitié du chiffre d’affaires de Cycorp venait d’agences gouvernementales américaines, le reste d’entreprises
- Les cas d’application publiquement détaillés sont surtout la Terrorism Knowledge Base (TKB) et le cas Cleveland Clinic
- La TKB a été créée en 2004 et arrêtée en 2008
- Elle contenait plus de 2 000 terroristes, plus de 700 organisations terroristes, plus de 6 500 attaques terroristes et plus de 200 000 assertions
- Les utilisateurs saisissaient des requêtes en anglais formel ; Cyc proposait des fragments de CycL que l’utilisateur sélectionnait pour construire une requête complète
- Le Semantic Research Assistant (SRA) de la Cleveland Clinic est attesté entre 2007 et 2010
- C’était un système répondant à des requêtes liées à la chirurgie cardiothoracique, au cathétérisme cardiaque et à l’intervention coronarienne percutanée
- Le projet SemanticDB ultérieur, en 2012, incluait une base de données de 120 millions de semantic triples et des requêtes SPARQL
- Dans une présentation de 2019, Lenat a déclaré que le projet Cleveland avait nécessité 120 000 nouvelles assertions, soit 0,5 % de l’ensemble de la base de connaissances
- Les autres cas confirmés concernent la sécurité réseau, l’intégration de données, des thésaurus de terminologie médicale et pharmaceutique, la détection de délits d’initié, l’analyse des causes de rendement en production, le support IT et la gestion d’inventaire, ainsi que la prédiction de pannes dans des installations de pompes à pétrole
- Ces usages sont proches des méthodes standard d’expert systems, data integration et information retrieval
OpenCyc, Semantic Web et projets dérivés
- Cycorp a publié en 2001 OpenCyc, un petit sous-ensemble de Cyc
- OpenCyc devait avoir 24 à 30 mois de retard sur le vrai Cyc
- La dernière version est sortie en 2012 et le projet semble avoir été arrêté vers mars 2017 sans promotion particulière
- ResearchCyc existait aussi, mais son usage était limité à la recherche, et il a pris fin vers 2019 sans annonce
- Cycorp a également participé aux initiatives Semantic Web des années 2000
- Des articles cherchaient à intégrer les connaissances de Cyc avec DAML, RDF, OWL, XML, etc.
- Des tentatives comme Standard Upper Ontology Working Group, The Cyc Foundation, FACTory, OpenCyc for the Semantic Web et LarKC se sont terminées sans succès notable
- Entre 2014 et 2016, la plupart des informations ouvertes sur Cyc ont disparu d’Internet lors d’un « massive extinction event »
- OpenCyc, les tutoriels, références, listes de vocabulaire et The Ontological Engineer’s Handbook version 0.7 ont disparu
- Cela a coïncidé avec la période de bascule vers les applications commerciales en 2016
Fermeture et évaluation externe
- Le projet Cyc était très fermé au regard des standards académiques
- Les publications liées à Cyc portaient surtout sur la manière d’entrer des connaissances dans Cyc, et rarement sur les applications sortant de Cyc
- Le fonctionnement des moteurs d’inférence et les détails des commercial applications n’ont presque pas été rendus publics
- Le code source d’AM et d’EURISKO n’a pas non plus été publié
- Lenat a souvent affirmé que le code avait disparu depuis longtemps, mais il a récemment été trouvé dans le dossier DBL des données de sauvegarde du Stanford AI Laboratory
- La question de savoir si Lenat cherchait à protéger le code reste ouverte
- L’usage de Cyc dans la recherche externe est resté très limité
- Cyc n’a presque pas été utilisé dans la recherche en IA ni dans le knowledge retrieval, et n’a jamais montré ses performances sur des benchmarks publics
- Davis and Marcus 2015 estimaient qu’il était très difficile pour des personnes extérieures de juger le niveau atteint par Cyc
- Davis 2016 évaluait que la communauté IA dans son ensemble voyait Cyc comme un « échec très sophistiqué »
La philosophie IA de Lenat et les critiques répétées
- Lenat a maintenu une même philosophie de l’IA pendant 40 ans
- Elle était centrée sur le Knowledge Principle, selon lequel l’intelligence de haut niveau provient des connaissances qu’un système peut exploiter
- La connaissance inclut concepts, faits, représentations, méthodes, modèles, métaphores et heuristiques
- Il a explicitement rejeté plusieurs voies alternatives
- Il considérait que l’IA logique à la Simon et Newell ne fonctionnait pas au-delà des problèmes jouets
- Il estimait que le physical embodiment ou la robotique n’étaient pas indispensables à l’AGI, et que le « mystical worship of physical embodiment » retardait l’AGI
- Il jugeait que les genetic algorithms et evolutionary algorithms étaient lents et piégés dans des minima locaux
- Il critiquait le statistical machine learning, les neural networks et les méthodes de self-organization comme des tentatives de « free lunch » sans grande base de connaissances initiale
- Lenat a répété la même logique à l’ère du deep learning et des LLM
- Les neural networks ne feraient que « remembering and espousing », sans « understanding and inferring »
- Cyc pourrait jouer le rôle de « left brain » et les neural networks celui de « right brain » dans une combinaison
- Son dernier article, Lenat and Marcus 2023, critique la recherche de free lunch, y compris via les LLM, et souligne la nécessité de symbolic representation and reasoning
L’intérieur de Cycorp et la conclusion pratique
- Cycorp a atteint une stabilité financière de long terme rare pour une petite entreprise technologique
- Les descriptions répètent qu’elle a été rentable depuis sa création, sans dette et détenue par ses employés
- Ses effectifs sont présentés comme allant d’environ 50 à 200 personnes
- Les propos d’anciens Cyclists sur Hacker News mêlent positif et négatif
- Côté positif sont mentionnés une culture intellectuelle et philosophique, la résolution de problèmes techniques de large scale inference, la rentabilité et quelques applications commerciales réussies
- Côté négatif sont pointés 30 ans de dette technique, des implémentations redondantes, le caractère fermé, une true believer mentality, ainsi que des solutions techniques et applications commerciales non rendues publiques
- Certains anciens employés estimaient qu’il n’était pas clair si Cyc faisait réellement du common sense reasoning, ou s’il constituait surtout une base particulièrement bonne pour développer des expert systems
- Il n’était pas clair non plus que le common sense reasoning ait vraiment été nécessaire aux projets commerciaux réussis
- Beaucoup de projets rendaient difficile d’identifier où exactement se produisait « l’IA »
- Au final, Cyc apparaît moins comme un projet d’AGI que comme la dernière grande entreprise de systèmes experts encore debout
- On peut admettre que Cycorp s’est peut-être distinguée dans des niche expert systems nécessitant d’excellents knowledge engineers, SubLisp et des higher-order statements
- Mais aucune preuve n’a été fournie que cette différenciation constituait une voie vers l’AGI
1 commentaires
Avis de Hacker News
Ça m’a fait rire : on dirait une phrase écrite par une IA consciente disant « il n’y a rien à voir ici, arrêtez de regarder et circulez »
Comme vannevar, je n’ai jamais eu l’impression que Cyc allait dans une direction utile ; il y avait des idées, mais elles ne me semblaient pas assez cohérentes pour former la base d’une hypothèse crédible sur la façon de construire un système capable de les implémenter
J’ai été assez impressionné par la démo du monde des blocs de McCarthy ; par la suite, lui et un étudiant ont formalisé une partie des règles qui créent le contexte (context) dans lequel une IA fonctionne, et je pense que cela reste important pour résoudre le désordre produit par les LLM
Par exemple, l’un des premiers échecs où un LLM recommandait d’ajouter des cailloux pour rendre une salade croquante était un échec typique de contexte, résultat de l’entremêlement de données relevant du contexte « humour » et du contexte « recette ». Comme les modèles existants n’ont pas de contexte pendant l’entraînement, rien dans le modèle ne permet d’ajuster la sortie selon le contexte, et on finit donc avec des cailloux dans la salade
https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d...
Tout le monde sait que l’IA symbolique n’a pas réussi à passer à l’échelle comme les LLM entraînés sur des masses de données, mais il est aussi vrai qu’elle cherchait à traiter plusieurs problèmes que les LLM ne savent pas encore bien résoudre
C’est un excellent article, vraiment parmi les meilleurs que j’aie lus sur HN cette année
J’ai découvert Cyc enfant, dans un documentaire sur l’IA, avec l’exemple d’un homme se rasant avec un rasoir électrique. Cyc avait conclu que l’homme en train de se raser n’était pas humain, parce que le rasoir était un appareil électrique et que les appareils électriques ne sont pas humains
Pour l’enfant que j’étais, cela a énormément stimulé mon imagination et m’a donné envie d’étudier l’IA ; plus tard, quand j’ai appris que Cyc fonctionnait avec des relations à la Prolog, le côté magique s’est un peu estompé. J’ai finalement étudié l’informatique plutôt que l’IA, mais je considère toujours que c’est Cyc qui a déclenché mon intérêt initial
Lenat pouvait sembler étrange, mais il faut ce genre de vrais croyants obsessionnels pour traverser plusieurs hivers de l’IA. Qui sait si, dans les efforts visant à éliminer les hallucinations de l’apprentissage statistique, des graphes de connaissances comme Cyc ne redeviendront pas importants à l’avenir
Intuitivement, je pense qu’il y a dans cette approche quelque chose de nécessaire pour faire fonctionner l’IA générative de manière fiable. Le cerveau a des capacités associatives, mais sans filtres pour séparer le signal du baratin et permettre de comprendre le contenu, ce n’est pas très utile
Je me demande si Cyc a jamais été capable de générer du contenu par lui-même de façon significative. Avec un tel système, il devrait finir par déduire de nombreux détails tout seul, au point qu’il faudrait de moins en moins le nourrir à la petite cuillère
Malheureusement, il est décédé il y a quelques années, et je regrette de ne l’apprendre que maintenant
C’est un texte très intéressant et qui vaut la peine d’être lu, bien meilleur que l’ambiance des commentaires ici
Cela dit, je trouve un peu dommage que l’auteur accorde autant de poids au postulat selon lequel ce projet aurait échoué. Le fait qu’il ait fallu 40 ans pour trouver une solution ne signifie pas que l’approche a simplement échoué
Les réseaux de neurones ont eux aussi mis plus de 40 ans à devenir vraiment utiles, et cela n’a pas été sans coût, mais on ne les qualifie pas pour autant de projet raté. Même les LLM actuels ne peuvent pas encore vraiment être considérés comme si intelligents
Si, un jour, la base de connaissances de Cycorp était rendue publique et pouvait servir à l’entraînement des LLM, la valeur plus importante de ces données pourrait apparaître
Du côté de Wikipedia, on travaille à une sorte d’interlangue de développement ouverte et éditable par des humains, afin de remplir les Wikipedias de langues sous-représentées avec des phrases encyclopédiques de base. Beaucoup de détails restent encore à définir, mais on peut voir https://en.wikipedia.org/wiki/Abstract_Wikipedia et https://meta.wikimedia.org/wiki/Abstract_Wikipedia
Cela pourrait aller jusqu’à quelque chose de comparable au système envisagé dans l’article, capable de générer des textes en anglais et en japonais si on lui fournit le « bon sens » approprié. On ne sait pas exactement dans quelle mesure le raisonnement logique sur ce genre de phrases serait utile, mais si cela a vraiment de la valeur, cette possibilité existe clairement
Si l’on veut comparer avec les « réseaux de neurones », il faut en réalité comparer avec l’IA symbolique au sens large. L’IA symbolique a assez bien fonctionné dans certains domaines, mais pas du tout pour le raisonnement de bon sens ou les domaines proches de l’AGI
Si l’on garde « Cyc » comme terme de comparaison, je pense que la comparaison elle-même est impossible. Sans exagérer, avant 2020 il n’y avait pas de projet d’IA aussi coûteux que Cyc. Les coûts ont commencé à dépasser le million de dollars vers GPT-2 ; AlphaGo et Deep Blue, même si les chiffres exacts manquent, ont peut-être coûté plusieurs millions de dollars, mais au moins ils fonctionnaient clairement
Dire que cela a pris 40 ans n’est pas exact non plus. Par exemple, LeNet-5 fonctionnait déjà en 1998 et servait à lire de vrais chèques dans les distributeurs automatiques. Le coût principal a été la ténacité d’ingénierie du groupe de recherche de LeCun aux Bell Labs pendant 10 ans, et la version finale, pour s’entraîner pendant « environ 20 epoch » sur MNIST, demandait 2 à 3 jours de temps CPU sur un serveur Silicon Graphics Origin 2000 équipé d’un seul processeur R10000 à 200 MHz
1998, c’est peut-être techniquement environ 40 ans après les débuts du perceptron dans les années 1950, mais si l’on applique ce critère aux réseaux de neurones, il faut aussi compter Cyc à partir des débuts de l’IA logique dans les mêmes années 1950. Et je me demande aussi à quoi Cyc pouvait bien servir dans l’industrie en 1998
D’après le site web, Cyc se porte très bien. Il se présente comme « The Next Generation of Enterprise AI »
Lenat lui-même est mort en 2023, mais dans la leadership team, il apparaît comme l’unique membre
https://cyc.com/
Même s’il n’a fait que prouver que c’était impossible, je lui suis vraiment reconnaissant d’avoir essayé
On peut exécuter la version de OpenCyc qui avait été rendue publique en ligne : https://github.com/asanchez75/opencyc
Ce sont les éléments datant de l’époque où une version du système avait été mise sur SourceForge ; sur GitHub, on trouve le jeu de données, la base de connaissances et le moteur d’inférence. À noter toutefois que c’est écrit pour une ancienne version de Java
Il y a longtemps, j’avais essayé de lire autant que possible ce que je pouvais trouver sur AM et EURISKO
Malheureusement, Lenat gardait son travail très privé, presque secret, et il y avait très peu de choses à lire en dehors d’articles et de publications de haut niveau. De ce fait, personne d’autre n’a vraiment pu construire quoi que ce soit par-dessus ce que Lenat avait créé, et je pense que c’est une grande perte
Cet article est une assez bonne revue non seulement de Cyc, mais aussi de l’IA symbolique en général
J’ai beaucoup manipulé OpenCyc autrefois, mais je n’y ai pas touché depuis dix ans
S’il existe un avenir productif pour l’IA symbolique, je pense qu’il passera par l’usage des LLM pour construire des graphes de connaissances, des relations symboliques, etc., à partir de données non structurées
Cette affirmation ne correspond pas aux faits. De grands domaines de l’IA symbolique comme la résolution SAT, la démonstration automatique de théorèmes, la planification et l’ordonnancement restent très vivants et ont produit des résultats concrets. En réalité, la résolution SAT, la planification, la vérification de programmes et la démonstration automatique de théorèmes fonctionnent désormais tellement bien qu’on ne les considère presque plus comme de l’« IA »
Je pense que Lenat avait au moins raison sur un point : l’échelle écrasante des données finirait par être la clé pour obtenir une intelligence utile
J’avais autrefois critiqué le projet Cyc en disant qu’il construisait un tas de fumier de plus en plus gros en espérant y trouver un poney ; avec les LLM, c’est en quelque sorte ce qui s’est produit
Je pense que cela aura sans doute à voir avec l’accélération matérielle de ces systèmes pour traiter d’immenses quantités de faits, comme les GPU l’ont fait pour les réseaux de neurones
Ces données sont de vraies paroles humaines dans de vrais contextes ; ce n’est pas du fumier de poney, c’est le poney lui-même
Les LLM n’ont pas d’intelligence. Ils ne font que faire du pattern matching sur d’innombrables paroles humaines en réponse à une requête, et transmettre comme un canal l’intelligence de ces humains. Le dispositif statistique fonctionne extrêmement bien, ce qui prouve son utilité, mais le fait que les LLM n’aient pas d’état cognitif limite fortement la portée que cette technologie peut atteindre
À l’inverse, avec Cyc, on ne voit même pas clairement ce qu’on pourrait en tirer. Combiné aux LLM, cela pourrait être utile, mais cela reste totalement verrouillé
Les grandes conclusions que l’auteur tire sur l’IA symbolique à partir de ce seul système et de cette seule approche ne sont pas justifiées. L’auteur écrit lui-même que « même Ernest Davis et Gary Marcus, pourtant très favorables aux approches symboliques de l’IA, n’ont trouvé que très peu de preuves du succès de Cyc, non pas parce que Cyc aurait démontrablement échoué, mais parce qu’il y avait trop peu de preuves dans un sens comme dans l’autre, succès ou échec »
J’imagine qu’il y avait un gros tas de commentaires Reddit, de messages Twitter, de libgen et de PDF arXiv
Il y a donc sûrement du fumier, mais aussi du savoir soigneusement encodé, à savoir des textes, et le fait que les LLM aient si souvent raison tient vraiment du miracle
Cela ressemble à de la science-fiction, mais parler à des multiplications de matrices aussi
Comme échec comparable de la GOFAI, il y a la tentative gigantesque menée pendant des décennies par l’entreprise russe ABBYY pour créer un logiciel de traduction avancé uniquement à partir du parsing de grammaires formelles complexes. ABBYY a longtemps été le leader du marché des logiciels d’OCR
L’histoire en arrière-plan est assez intéressante, et cet article a été écrit par quelqu’un qui a travaillé chez ABBYY : https://sysblok.ru/blog/gorkij-urok-abbyy-kak-lingvisty-proi...
L’article est en russe mais, ironiquement, on peut le lire dans un bon anglais avec la fonction Google Translate de Chrome, par exemple. Et cette fonction repose bien sûr entièrement sur le machine learning
L’histoire est essentiellement similaire à celle de Cyc. L’IA symbolique, l’IA logique et la GOFAI peuvent produire des résultats impressionnants au début, et ABBYY était aussi bien meilleur que le premier Google Translate, mais l’approche symbolique passe mal à l’échelle. Au final, big data + machine learning l’emporte
L’article ci-dessus traite de « The Unreasonable Effectiveness of Data », texte dans lequel Google avançait cet argument en 2009 : https://static.googleusercontent.com/media/research.google.c...
Il est important de noter que 2009 est bien antérieur aux grands modèles de langage, aux transformers, et même à AlexNet
Il y a environ un an, un grand fil de discussion avait déjà eu lieu au sujet de Cyc : https://news.ycombinator.com/item?id=40069298