Les LLM ont encore beaucoup de chemin à parcourir
- Un LLM ne fait au fond que mémoriser une grande quantité d’informations puis les restituer ; on ne peut donc pas dire qu’il possède une véritable intelligence au niveau humain. Une véritable intelligence de niveau humain, c’est la capacité à généraliser à partir d’un volume de données d’apprentissage très limité et à résoudre des problèmes dans des situations inédites.
- Pour distinguer un chien d’un chat, un humain n’a besoin que de quelques photos, alors qu’un modèle CNN en nécessite 25 000. Le cerveau humain est capable de classifier des objets très rapidement et avec précision à partir d’une quantité de données d’apprentissage infinitésimale comparée à celle de l’IA.
- Si quelqu’un résout un même problème de mathématiques sans en comprendre le principe, mais simplement parce qu’il se souvient d’une formule adaptée à partir d’exercices similaires déjà vus, il s’agit davantage d’une bonne recherche que d’une véritable intelligence. Il faut distinguer la personne qui obtient 100/100 en apprenant par cœur de celle qui obtient 100/100 en comprenant les principes.
- Si les LLM actuels deviennent meilleurs à mesure qu’on augmente leur taille, tout en continuant à halluciner, c’est précisément pour cette raison. En augmentant le volume d’apprentissage, on augmente le nombre de formules qu’ils peuvent ressortir, ce qui leur permet de faire face à davantage de situations ; mais s’ils ne trouvent pas la bonne formule, ou trouvent la mauvaise, ils hallucinent.
- Cela dit, résoudre des problèmes en appliquant des formules apprises par cœur, c’est aussi en réalité le cas des humains. À l’exception d’une toute petite minorité, la plupart des gens vivent en appliquant des formules apprises à différentes situations ; mais même ici, une différence subsiste entre l’IA et l’humain.
- L’IA actuelle effectue une recherche superficielle, tandis que les humains peuvent approfondir leur recherche par un enchaînement d’idées.
- Le concept qu’on appelle « intelligence » peut à son tour être divisé en trois niveaux :
- La capacité à observer un phénomène, à en comprendre le principe, puis à l’appliquer dans un large éventail de contextes (génie)
- La capacité à examiner en profondeur plusieurs schémas déjà appris et à utiliser le plus pertinent (personne ordinaire)
- La capacité à examiner superficiellement plusieurs schémas déjà appris et à utiliser celui qu’on trouve le plus vite (LLM actuels)
- Les LLM actuels se situent au niveau 3 ; idéalement, il faudrait atteindre le niveau 1, et au minimum le niveau 2, pour aller vers ce qu’on appelle l’AGI (Artificial General Intelligence).
ARC Prize, un prix d’un million de dollars
- Une méthode de test a été développée pour évaluer si une intelligence possède réellement un niveau humain, et un concours doté d’un prix d’un million de dollars, l’ARC Prize, a été créé sur cette base. (https://www.kaggle.com/competitions/arc-prize-2024)
- Il est possible d’essayer de résoudre les puzzles sur le site officiel du concours (https://arcprize.org/) ; alors qu’ils correspondent pour un humain à une difficulté de type test de QI, l’IA ne sait toujours pas bien les résoudre.
Le partage des résultats accélère les progrès
- En diffusant dans le secteur une culture de non-partage de l’information, OpenAI a retardé l’arrivée de l’AGI d’au moins 5 à 10 ans.
- Pour construire une AGI, de nombreuses approches doivent être tentées, mais comme OpenAI a capté l’attention, toutes les ressources humaines et matérielles du secteur se concentrent uniquement sur les acteurs qui développent des LLM.
- Par conséquent, les autres domaines de recherche reçoivent moins de soutien et leurs résultats avancent plus lentement.
- En outre, contrairement à ce qui se faisait auparavant, même quand OpenAI publie des articles, l’entreprise ne partage pas les détails techniques, ce qui complique pour les autres chercheurs du secteur la poursuite d’autres travaux sur cette base.
- Avant l’arrivée d’OpenAI, des chercheurs de nombreuses institutions collaboraient au-delà de leurs affiliations, comme pour l’article Attention is all you need, ce qui a permis une progression rapide de l’IA ; mais OpenAI diffuse une culture où ses découvertes ne sont pas partagées avec le secteur, ce qui freine les avancées globales.
- L’espoir est que, grâce au concours ARC Prize, les chercheurs recommencent à partager activement leurs résultats et que le rythme de progression du secteur s’accélère à nouveau.
2 commentaires
On dirait que le modèle o1 se rapproche de la 2e place.
Oui, je pense la même chose.