- Thomas Wolf, cofondateur de HuggingFace, affirme que l’IA ne provoquera pas d’accélération brutale de la science, autrement dit un « XXIe siècle compressé »
- Le « XXIe siècle compressé » est un concept issu de « Machine of Loving Grace » de Dario Amodei, selon lequel l’IA jouerait le rôle d’innombrables Einstein dans des data centers et réaliserait en 5 à 10 ans toutes les découvertes scientifiques du XXIe siècle
- Au départ, cette idée l’avait impressionné et il s’était dit : « L’IA va tout changer dans la science en 5 ans ! » Mais en relisant, cela lui a semblé relever en grande partie d’une pensée trop optimiste (wishful thinking)
L’IA n’est pas un génie, mais un “yes-man”
- Il pense qu’en réalité, ce que nous obtiendrons sera « un pays de yes-men sur des serveurs » (si la tendance actuelle se poursuit)
- Pour expliquer cette différence, il raconte une histoire personnelle
- Il a toujours été un excellent élève
- Il a grandi dans une petite ville, est entré dans l’une des meilleures écoles d’ingénieurs de France, puis a été admis en doctorat au MIT
- Les études ont toujours été faciles pour lui
- Il pouvait anticiper la direction prise par les explications du professeur et les questions probables de l’examinateur
- Finalement, lorsqu’il est devenu chercheur (doctorant), il a reçu un choc
- Il était un chercheur banal, en dessous de la moyenne et loin des attentes
- Ses collègues avaient beaucoup d’idées intéressantes, alors que lui se heurtait sans cesse à des murs
- Il ne parvenait pas à inventer par lui-même ce qui n’était pas écrit dans les livres (et même alors, ce n’étaient que des variantes inutiles de théories existantes)
- Plus grave encore, il lui était très difficile de remettre en question ce qu’il avait appris et de défier l’état des choses
- Il n’était pas Einstein, seulement un étudiant doué pour les études
- Peut-être n’était-il pas Einstein parce qu’il était bon à l’école
- Les génies de l’histoire ont souvent rencontré des difficultés dans le cadre scolaire
- Edison a été qualifié de « stupide (addled) » par son professeur
- Barbara McClintock a été critiquée pour ses « idées bizarres », avant de recevoir le prix Nobel
- Einstein a échoué à sa première tentative à l’examen d’entrée de l’École polytechnique de Zurich
- Les exemples de ce type sont innombrables
- L’erreur fréquente consiste à croire que Newton ou Einstein n’étaient que des « premiers de la classe extrapolés »
- Autrement dit, on suppose à tort qu’en prolongeant linéairement le top 10 % des étudiants, on finit par produire un génie
- Cette vision passe à côté de la capacité la plus importante en science
- La capacité à poser les bonnes questions et à remettre en cause même le savoir appris est au cœur des véritables percées scientifiques
- Les vraies ruptures scientifiques viennent par exemple de Copernic, qui a contredit tout le savoir de son époque en proposant que la Terre tourne autour du Soleil
- En termes de machine learning, cela revient à aller contre le sens commun « malgré toutes les données d’entraînement »
Comment fabriquer un Einstein
- Pour créer un Einstein dans un data center, il ne suffit pas d’avoir un système qui connaît toutes les réponses
- Il faut un système capable de poser des questions auxquelles personne n’a même pensé
- Il doit pouvoir demander : « Et si tout cela était faux ? » alors même que tous les manuels, les experts et le sens commun disent le contraire
- Pensons au basculement radical de paradigme qu’a représenté la relativité restreinte
- Il a fallu le courage d’ériger comme premier postulat : « supposons que la vitesse de la lumière soit constante dans tous les référentiels »
- Cela allait à l’encontre du sens commun de l’époque (et même de notre intuition actuelle)
- Le CRISPR était connu depuis les années 1980 comme le système immunitaire adaptatif des bactéries
- Mais 25 ans après cette découverte, Jennifer Doudna et Emmanuelle Charpentier ont reçu le prix Nobel en proposant de l’utiliser pour l’édition génétique
- « Nous savons depuis des années que XX fait YY, mais si nous nous trompions ? Ou si nous pouvions appliquer cela à quelque chose de totalement différent, ZZ ? »
- Cette prise de conscience est précisément l’essence d’une pensée hors du savoir établi (outside-of-knowledge thinking) et d’un changement de paradigme (paradigm shift)
- C’est le mécanisme central du progrès scientifique
- Ces changements de paradigme sont rares (de l’ordre de 1 à 2 par an)
- Une fois leur impact confirmé, ces percées mènent généralement au prix Nobel
- Même si c’est rare, il se dit d’accord avec Dario sur un point
- La plus grande part du progrès scientifique provient de ces changements de paradigme, tout le reste n’étant le plus souvent que du bruit
Pourquoi l’IA a du mal à produire une innovation scientifique
- Les performances actuelles de l’IA sont déjà centrées sur la capacité à apprendre les connaissances existantes et à y répondre
- La manière dont on évalue aujourd’hui l’amélioration de l’intelligence des modèles d’IA est limitée
- Parmi les tests récents figurent « Humanity's Last Exam » ou « Frontier Math »
- Ils sont composés de questions extrêmement difficiles, généralement rédigées par des chercheurs de niveau doctorat
- Mais il existe une réponse correcte claire et fermée
- Ce type d’examen est exactement celui dans lequel il excellait à l’école
- Il teste la capacité à trouver la bonne réponse à un problème dont la solution est déjà connue
- Or, les véritables percées scientifiques ne consistent pas à répondre à des questions déjà connues, mais
- à poser des questions nouvelles et difficiles, et à remettre en cause les concepts et idées existants
- Pensons à The Hitchhiker’s Guide to the Galaxy de Douglas Adams
- La réponse est « 42 », mais personne ne sait quelle est la question
- C’est précisément l’essence de la recherche
- Les LLM actuels mémorisent toute la connaissance humaine, mais ne parviennent pas pour autant à créer de nouvelles connaissances
- Ils font surtout du « manifold filling »
- Ils comblent les interstices entre des connaissances déjà connues par les humains
- En quelque sorte, ils tissent les connaissances comme une étoffe du réel
- Aujourd’hui, nous fabriquons surtout de très bons élèves obéissants
- C’est parfait pour l’objectif dominant actuel de l’IA : créer d’excellents assistants et des helpers dociles
Ce qu’il faudrait pour que l’IA produise une véritable innovation scientifique
- Mais pour que l’IA apporte une innovation scientifique, il faudrait qu’elle remplisse les conditions suivantes
- être capable de remettre en question son propre savoir
- être capable de proposer des idées nouvelles qui contredisent ses données d’entraînement passées
- Sans cela, l’IA n’apportera pas d’innovation scientifique
- Si l’on veut des percées scientifiques, il faut revoir notre manière de mesurer les performances des modèles d’IA
- Aujourd’hui, on mesure la quantité de connaissances et la capacité à répondre correctement à des questions existantes
- Il faut au contraire évoluer vers des méthodes qui testent le savoir et la capacité de raisonnement
- Capacités qu’un modèle d’IA scientifique devrait posséder
- Défi envers les données d’entraînement : il doit pouvoir mettre en doute les données qu’il a apprises au lieu de les accepter telles quelles
- Tentative d’approches contrefactuelles audacieuses : il doit pouvoir formuler des hypothèses hardies qui vont à l’encontre du sens commun établi
- Déduction de propositions généralisées à partir de petits indices : il doit pouvoir détecter de nouveaux motifs à partir de signaux faibles et les généraliser
- Poser des questions contre-intuitives pour ouvrir de nouvelles voies de recherche : il doit pouvoir formuler des questions inédites afin de tracer de nouvelles directions de recherche
- Nous n’avons pas besoin d’un élève A+ capable de répondre à toutes les questions
- Ce que nous voulons, c’est un élève B capable de voir et de questionner ce que les autres ont manqué
PS : pistes pour améliorer les benchmarks d’IA
- On peut se demander de quels benchmarks nous avons besoin
- On peut par exemple imaginer une situation où le modèle est testé sur une découverte récente et nouvelle
- dans un état où il ne dispose d’aucune connaissance préalable ni d’aucun cadre conceptuel sur cette découverte
- afin d’évaluer s’il est capable de commencer par poser les bonnes questions et explorer le problème
- C’est un problème très difficile
- La plupart des modèles d’IA ont déjà appris presque tout ce que l’humanité sait aujourd’hui
- Il est donc difficile de les faire fonctionner dans une situation où ils ne disposent d’aucune réponse ni d’aucun cadre conceptuel
- Mais si l’on veut de l’innovation scientifique, il faut des benchmarks capables d’évaluer ce type de comportement
- Au final, cela reste un problème ouvert, et il aimerait entendre des avis éclairés à ce sujet
PPS :
- Beaucoup citent le « Move 37 » (d’AlphaGo) comme preuve que l’IA aurait déjà atteint une intelligence de niveau Einstein
- Il veut expliquer précisément pourquoi ce n’est pas le cas
- Move 37 est impressionnant, mais au fond ce n’est que la réponse d’un premier de la classe dans un cadre où les règles du go sont déjà fixées
- Il s’est simplement agi de résoudre le problème à l’intérieur des règles existantes du jeu
- De la même manière, il est très probable que les modèles d’IA produisent bientôt
- des démonstrations mathématiques plus élégantes que celles conçues par les meilleurs mathématiciens
- mais cela ne constituerait pas pour autant un véritable changement de paradigme
- Dans le go, une percée de niveau Einstein devrait être plus fondamentale
- il faudrait redéfinir les règles mêmes du go
- ou inventer de nouvelles règles de jeu bien plus intéressantes que le jeu existant
- Une analogie plus juste en mathématiques serait
- de relier différents domaines des mathématiques pour ouvrir un nouveau champ de recherche
- ce qui correspond généralement à un niveau d’accomplissement digne de la médaille Fields
- Un changement de paradigme scientifique de niveau Einstein reste donc une barre extrêmement élevée
5 commentaires
Si on créait une IA capable de poser des questions auxquelles on n’avait pas pensé, ce serait assez vertigineux si cette IA commençait à poser des questions du genre : pourquoi ne faut-il pas faire de mal aux humains ?
IA et créativité : le lien entre changement de paradigme et inspiration
Le texte de Thomas Wolf soutient qu’il sera difficile pour l’IA de produire une véritable innovation scientifique. Il la décrit comme un « yes-man » qui recombine des connaissances existantes, loin du génie à la Einstein capable de changer de paradigme.
Son point de vue cerne avec précision les limites de l’IA, tout en nous invitant en même temps à réfléchir aux possibilités de coopération entre l’IA et les humains. < Ce texte est une réponse donnée quand j’ai demandé son avis à Claude, mais il me l’a transformé en artifact sans même que je le demande, et cette phrase a été ajoutée soudainement au milieu d’un autre sujet sans la moindre mention. C’est bizarre...
Le rôle de l’inspiration et de l’IA
Mais qu’est-ce que l’inspiration ? La créativité humaine elle aussi naît, au fond, de nouvelles connexions et combinaisons entre des idées existantes. Einstein lui-même a vu plus loin en se tenant sur les épaules des scientifiques qui l’ont précédé, comme Newton, Maxwell et Lorentz.
Ce que l’IA apporte :
La relation symbiotique entre l’IA et les humains
Thomas Wolf dit que l’IA ne peut pas, à elle seule, provoquer un changement de paradigme, mais qu’en est-il de la collaboration entre l’IA et les humains ? Dans le processus où l’humain pose des questions et où l’IA explore différentes possibilités, de nouvelles idées peuvent naître.
Les humains ont la capacité de poser des questions, l’intuition et la capacité d’évaluer la valeur des résultats. L’IA, elle, propose des points de connexion à partir de vastes volumes de données. La combinaison de ces deux intelligences pourrait peut-être nous emmener là où aucune ne pourrait parvenir seule.
Conclusion : la possibilité d’une nouvelle créativité
L’IA ne pourra peut-être pas créer à elle seule un « XXIe siècle compressé ». Mais elle peut inspirer les humains, ouvrir de nouvelles voies de pensée et jouer le rôle de partenaire de la créativité humaine.
La véritable innovation a de fortes chances d’émerger d’un processus de co-création où humains et IA mettent chacun à profit leurs forces. Ce sera une démarche qui dépassera le simple rôle de « yes-man » pour devenir un voyage à la recherche de nouveaux paradigmes aux côtés des humains.
https://fr.news.hada.io/topic?id=19168
C’est une recherche à laquelle l’IA n’aurait probablement jamais pensé.
Je suis d’accord avec l’essentiel de l’article.
« Nous n’avons pas besoin d’un élève A+ capable de répondre à toutes les questions
Ce que nous voulons, c’est un élève B capable de voir et de poser des questions sur ce que les autres ont manqué »
En voyant ça, j’ai tout de suite pensé que j’étais justement un élève B, mais que les grandes entreprises ne regardent et ne recrutent que des élèves A+.
Avis Hacker News
On a eu de la chance quand on a demandé à l'IA de « ne rien inventer et de dire qu'elle ne sait pas s'il n'y a pas de réponse »
Recommande de lire Against Method de Feyerabend
Un lien vers la version BlueSky est fourni
Publication intéressante sur le fait de « poser les bonnes questions »
Avis sur la possibilité, au XXIe siècle, de compresser le travail en faisant collaborer un étudiant B créatif et une IA élève A
Impossible de distinguer les réponses vraiment nouvelles d'un LLM de ses hallucinations
Bonne publication qui mériterait d'être sur une plateforme plus intelligente que le Twitter/X actuel
A vu des algorithmes concevoir des circuits qu'un ingénieur humain ne concevrait pas
L'auteur semble supposer que la partie difficile consiste à formuler des conjectures
N'a pas trouvé de modèle qui s'en tienne strictement à la factualité
Veut uniquement des faits directs, pas de l'intuition