Depuis ChatGPT, les attentes autour de l’AGI ont grandi, et même le terme de superintelligence ne sonne plus vraiment comme de la science-fiction. Mais le concept d’intelligence reste encore vague, et il est difficile de se représenter jusqu’où elle peut s’élever.
J’ai donc essayé de formuler cette hypothèse. L’intelligence n’est pas une propriété qui peut augmenter indéfiniment. Aucun système ne peut dépasser l’intelligence humaine.
https://blog.naver.com/conanoc/224107260779
Je serais curieux de connaître votre avis.
21 commentaires
La vitesse du progrès technologique était proportionnelle à la taille de la population.
À mesure que la production alimentaire augmentait, l’augmentation de la population tirait l’intelligence totale vers le haut.
Mais à partir d’un certain moment, la hausse de la production alimentaire ne s’est plus traduite en population, puis en intelligence, puis en technologie.
L’IA, c’est différent.
La quantité totale d’intelligence augmente linéairement en fonction du matériel produit et de la quantité d’électricité injectée.
Conclusion : même s’il peut y avoir une limite aux performances de l’intelligence artificielle, il n’y a pas de limite à son expansion.
Pour prendre un exemple extrême, une infinité d’orangs-outans est plus intelligente qu’un seul être humain — du point de vue des essais-erreurs et de l’intelligence totale. Et quand on regarde ce qui se passe aujourd’hui, même si l’IA n’est pas encore capable de juger simplement par elle-même, elle montre dans l’espace qu’est Internet des capacités quasi omniscientes. Elle est déjà plus intelligente que l’humain moyen.
Il semble difficile de considérer qu’un nombre infini d’orangs-outans soit plus intelligent qu’un seul être humain. Aussi nombreux soient-ils, les orangs-outans ne résoudraient pas des problèmes qui nous intéressent ; dans l’hypothèse où « l’intelligence est la capacité à résoudre des problèmes », ils n’atteignent donc pas l’intelligence humaine. Bien sûr, dans la mesure où c’est nous qui définissons ces « problèmes », on peut aussi dire que c’est un peu injuste pour les orangs-outans.
Je suis assez d’accord avec l’idée que ChatGPT est déjà plus intelligent que les humains dans une certaine mesure. Déjà, il en sait bien plus que moi. C’est un vrai puits de science.
Mais du point de vue de la capacité à résoudre des problèmes, l’IA a encore beaucoup de limites. C’est sans doute pour cela qu’on dit qu’elle n’a pas encore atteint le niveau de l’AGI.
Deux personnes, A et B, passent un examen et obtiennent respectivement 80 et 60 points. On peut dire que A est plus malin, mais il est ambigu d’affirmer qu’il a une intelligence supérieure.
Si, à l’examen suivant, B étudie davantage et que cette fois A et B obtiennent respectivement 70 et 90 points, il faudrait alors dire que B est plus malin et plus intelligent.
Les humains peuvent élargir leurs connaissances par l’apprentissage et, comme pour l’IA, cette expansion des connaissances n’a pas vraiment de limite.
Les humains peuvent déjà, grâce au papier et aux appareils numériques, stocker des connaissances au-delà des limites de capacité et de mémoire du cerveau, puis apprendre davantage selon les besoins.
L’enjeu central n’est pas tant la connaissance que la capacité à l’utiliser pour résoudre des problèmes.
Pour résoudre un problème, il faut parfois découvrir — ou créer soi-même — un savoir qui n’est pas encore inclus dans les connaissances existantes et qu’on ne peut obtenir nulle part ailleurs.
Et pour vérifier qu’il s’agit du bon savoir et qu’il permet bien de résoudre le problème, il faut nécessairement utiliser des outils extérieurs. C’est là qu’apparaît un problème de passage à l’échelle.
Pour faire une nouvelle découverte en physique, les expériences de pensée ne suffisent pas. Il peut être nécessaire de créer de nouveaux outils physiques, ou de mener divers expérimentations avec les outils existants.
Dès maintenant, pour développer un nouveau modèle d’IA, il faut non seulement coder, mais aussi utiliser des équipements physiques que constitue l’infrastructure d’entraînement ; et si nécessaire, acheter davantage de GPU pour étendre l’infrastructure existante.
Ces tâches physiques continueront non seulement à nécessiter un soutien humain pendant encore longtemps, mais elles nous amèneront inévitablement à nous poser la question suivante : « En dehors des tâches physiques que nous prenons déjà en charge, y en a-t-il vraiment d’autres que l’IA pourrait mieux accomplir ? »
D’abord, cette hypothèse est impossible (si l’on part du principe d’un observateur/calculateur situé à l’intérieur de notre système physique) en raison du principe d’incertitude (voir le démon de Laplace). Et comme, dans le traitement de l’information, les processus irréversibles comme l’effacement ou l’initialisation s’accompagnent d’une augmentation de l’entropie (principe de Landauer), les activités de traitement de l’information comme l’apprentissage ou le calcul finissent elles aussi par être plafonnées, dans un système physique, par des contraintes d’énergie, de temps et de chaleur.
Et si l’on voulait vraiment comparer les LLM au cerveau, je dirais qu’il s’agit de 1. geler entièrement l’état du cerveau humain de sorte qu’aucun apprentissage ni aucune amélioration supplémentaires ne soient possibles, puis 2. supprimer tous les organes sensoriels, puis 3. le forcer à n’ingérer et à ne produire que des séquences en braille. Au final, vu de l’extérieur, ce cerveau serait impossible à distinguer d’un LLM, non ? Alors, ce cerveau ne serait-il pas intelligent ?
Ce que soutient le texte cité ne semble être qu’une simple intuition, et je n’y vois pas vraiment de présentation d’éléments probants pour l’étayer.
Y a-t-il des raisons de penser que même les futurs modèles d’IA ne pourront tout simplement pas dépasser les limites actuelles ?
Nick Bostrom a présenté dans son livre Superintelligence trois formes de superintelligence.
Parmi ces catégories, le texte que vous avez présenté semble se limiter à la superintelligence qualitative. Mais même si la superintelligence qualitative était impossible, rien ne permet de conclure que la superintelligence de vitesse et la superintelligence collective le seraient aussi.
Déjà aujourd’hui, un grand nombre de modèles d’IA produisent des résultats à une vitesse incomparable à celle des humains, et reposent en interne sur des architectures de type Mixture-of-Experts.
Par conséquent, si la technologie de l’IA continue de progresser, même si la profondeur de réflexion individuelle restait au niveau humain, on peut s’attendre à ce que les capacités globales manifestées dépassent celles de l’être humain sur de nombreux plans.
Et les raisons de penser que la superintelligence qualitative serait impossible paraissent elles aussi faibles.
Il y a déjà plus de dix ans, nous avons vu arriver une époque où l’IA dépassait l’humain dans un domaine précis comme le go. De la même manière, il semble déjà clair qu’au moins dans les domaines où il existe une bonne réponse déterminée, il est possible que la machine dépasse les capacités humaines.
Je ne pense pas que l’arrivée d’une superintelligence fasse apparaître une « bonne réponse » à des problèmes qui n’en ont pas de définie.
Par exemple, dans un dilemme éthique, il ne s’agit au fond que de savoir quelle valeur on juge prioritaire, et il ne peut donc pas y avoir de réponse correcte fixée à l’avance.
En revanche, je pense qu’elle peut aider dans la discussion autour de ce type de problème. Par exemple, en signalant des points auxquels les humains n’avaient pas pensé. À mon avis, c’est déjà possible dans une certaine mesure aujourd’hui.
Merci pour votre bon commentaire.
Si j’estime que « probablement, il n’existera pas d’intelligence dépassant celle de l’être humain », c’est en me fondant sur la « nature de l’intelligence ».
Si l’on reprend la distinction que je faisais entre deux formes d’intelligence — être bon dans ce que l’on connaît déjà (type A) et chercher à tâtons parce qu’on ne sait pas (type B) —, il devient peut-être plus clair de voir où se situent les limites.
Le type A est le domaine dans lequel l’IA actuelle excelle, et celui que nous avons tendance à considérer comme l’intelligence au sens étroit. C’est un domaine relativement facile (même si, malgré cela, il est longtemps resté difficile pour l’IA), et ses limites paraissent aussi assez nettes. Un peu comme dans un problème de mathématiques simple où 100 points constituent la limite.
Le type B peut ne pas ressembler à de l’intelligence, mais en réalité, si nous parvenons à résoudre des problèmes difficiles, c’est grâce à cette capacité. Bien que nous ne sachions pas comment créer une IA de niveau AGI, nous avançons malgré tout vers sa création. Comme lorsque Fleming a découvert la pénicilline, ce n’est pas purement le fruit du hasard : on trouve la réponse en explorant une multitude de possibilités et en choisissant, parmi elles, les directions les plus prometteuses. Ici, la limite semble moins qualitative que quantitative, et on peut la rapprocher de la superintelligence rapide ou collective que vous évoquiez plus haut. Comme les problèmes du monde réel ne peuvent pas être résolus par de simples expériences de pensée, la vitesse a ses limites. Un peu comme sur le boulevard Gangnam-daero, où même une voiture très rapide dépasse difficilement les 100 km/h.
Je pense moi aussi que le cas d’AlphaGo peut servir de référence intéressante. À mes yeux, il s’agit ici de quelque chose de quantitatif plutôt que qualitatif. Le résultat a été possible parce qu’on a atteint un niveau de motifs comparable à celui des humains, puis exploré bien plus rapidement qu’eux un nombre de cas immensément supérieur.
Ce qui est encore plus intéressant, c’est que, si AlphaGo a été entraîné à partir de parties humaines, AlphaZero a ensuite appris à trouver lui-même de bons coups sans recourir aux parties humaines, et a obtenu de meilleurs scores qu’AlphaGo. Pourtant, les schémas de jeu d’AlphaZero restent presque identiques à ceux des humains. Autrement dit, les joseki n’ont pas profondément changé. Cela signifie que l’être humain avait déjà trouvé des coups proches de l’optimal. C’est précisément la limite du type A.
Le critère de comparaison peut varier selon les personnes, mais pour ma part, j’aimerais dire qu’au go, l’IA et l’humain ont atteint le même niveau. Entre un débutant et un professionnel du go, il existe une différence qualitative de niveau, alors que l’IA, elle, n’est simplement qu’un peu plus rapide qu’un joueur professionnel.
Hein ? Même si je ne connais pas très bien le go, je joue aux échecs depuis assez longtemps, et sur ce point c’est complètement différent de ce que j’avais entendu de la part de joueurs de go.
Auriez-vous une source à ce sujet ?
Pour ma part, je croyais comprendre qu’AlphaGo avait réévalué des coups que les humains jugeaient mauvais et en avait fait de nouveaux joseki.
https://namu.wiki/w/3%EC%9D%98%203
Dans le cas du go, d’abord, il me semble que considérer en soi que « l’IA et l’humain ont atteint le même niveau » relève d’une mauvaise compréhension. L’IA a déjà démontré des capacités supérieures à celles de l’être humain dans le domaine du go.
Actuellement, le joueur le mieux classé dans le monde du go est Shin Jin-seo 9 dan, avec un score de 3866. (voir https://www.goratings.org/ko/)
Or, dans le cas d’AlphaGo Zero (2017) que vous mentionnez, le classement Elo publié atteint pas moins de 5185.
À titre indicatif, lorsqu’il y a 200 points d’écart au classement Elo, cela correspond à une différence de niveau telle qu’un joueur peut gagner trois parties sur quatre ; avec 1200 points d’écart, le taux de victoire attendu atteindrait 99,9 %.
La version d’AlphaGo qui avait affronté Lee Sedol, en gagnant 4 parties sur 5 et en en perdant 1, avait un classement Elo de 3739, et lorsque cette version a été opposée à AlphaGo Zero, AlphaGo Zero l’a emporté 100 à 0.
Par conséquent, penser qu’il n’y a pas de différence qualitative malgré plus de 1300 points d’écart revient peut-être tout simplement à ignorer la réalité.
Par ailleurs, l’affirmation selon laquelle les joseki n’auraient pas beaucoup changé après l’apparition de l’IA peut elle aussi être réfutée par une simple recherche Google.
En outre, même si les résultats produits par l’IA ressemblaient à ceux des humains, cela ne garantit pas que la manière humaine soit toujours la meilleure possible.
Dire que l’intelligence humaine se situe au sommet absolu et qu’il n’y a plus rien au-dessus reviendrait à dire que les modes d’apprentissage et de résolution de problèmes de l’être humain sont, dans le champ du possible, les meilleurs.
Mais est-ce vraiment le cas ? L’intelligence humaine a été façonnée par la pression évolutive afin de résoudre, à chaque époque, des problèmes comme la survie auxquels nous étions confrontés ; elle comporte donc toutes sortes d’heuristiques et de biais.
À l’heure actuelle, il est vrai que l’intelligence artificielle n’arrive pas encore pleinement à égaler cela non plus, mais ce n’est pas une preuve que les intelligences artificielles à venir ne pourront pas dépasser l’être humain.
Enfin, « chercher parce qu’on ne sait pas » est justement un domaine où les machines peuvent, selon moi, faire bien mieux que les humains. Une machine peut mobiliser de multiples instances et explorer en parallèle. Et cela aussi, d’ailleurs, a déjà été démontré au niveau d’AlphaGo Zero que vous avez mentionné.
Sur ce point, je suis d’accord pour dire que, dans les expériences scientifiques en physique ou en chimie par exemple, l’acquisition des connaissances rencontrera des goulets d’étranglement. Mais dans les domaines où ces goulets n’existent pas, ou sont faibles, des progrès encore plus rapides seront au contraire possibles. On peut penser, par exemple, aux mathématiques ou au code.
Et même là où des goulets d’étranglement apparaissent, il existe des domaines où des avancées bien plus rapides qu’aujourd’hui restent possibles. (Comme le montre AlphaFold.) On prédira certaines choses à l’avance par simulation pour réduire le nombre d’expériences réelles nécessaires, et l’on automatisera les expériences répétitives à l’aide de robots.
Dans ce cas, n’est-il pas pertinent de prévoir que la forme d’intelligence collective / de superintelligence par la vitesse que vous appelez ici « type B » dépassera déjà l’humain dans ce domaine ? Les limites humaines et les limites théoriques ou physiques sont bel et bien deux choses différentes. Si l’on affirme que « le simple fait d’être plus rapide ne constitue pas une amélioration qualitative », cela me semble relever d’un simple déplacement des buts et d’un hors-sujet. Les résultats produits dépasseront clairement ceux des humains ; à ce stade, il sera déjà difficile de soutenir qu’il ne s’agit « que de rapidité ».
À la rigueur, l’idée selon laquelle l’intelligence humaine a atteint aujourd’hui ses limites biologiques et qu’il lui sera donc difficile d’augmenter fortement au-delà de son niveau actuel me semblerait plausible.
En revanche, si l’on avance l’idée audacieuse qu’une intelligence machinique contrainte non par des limites biologiques mais par des limites physiques aurait, sur le plan qualitatif, des limites similaires à celles de l’humain, alors je pense qu’il faut des preuves et une logique d’autant plus convaincantes.
Pour répondre aux avis des deux personnes ci-dessous, il me semble que le problème tient probablement à la manière dont on va évaluer cela. Comme je n’ai pas proposé de critères d’évaluation, il est vrai que mon affirmation peut paraître un peu vague dès le départ.
Selon mes critères, je n’ai pas envie de considérer comme une différence d’intelligence l’écart entre 80 et 90 points en maths, ou entre 1 heure et 30 minutes pour résoudre un problème. Si l’écart est de cet ordre, il vaut mieux, à mon avis, considérer qu’il s’agit du même niveau d’intelligence. Il existe aussi une grande variabilité entre les humains, mais nous regroupons cela malgré tout sous l’expression « intelligence humaine ». Les joueurs professionnels de go ont tous des niveaux différents et des classements Elo différents, mais on ne dit pas pour autant qu’ils jouent à un niveau de go totalement différent les uns des autres ; en revanche, on peut dire qu’ils jouent à un niveau complètement différent de celui d’un amateur 10 kyu. De ce point de vue, même si AlphaZero bat toujours Lee Sedol, ce n’est pas un go d’un niveau différent. (À parler ainsi, il faudrait alors dire qu’au go, Dieu, l’humain et l’IA sont au même niveau. À moins que Dieu puisse jouer à un niveau totalement différent. Par exemple, si Dieu pouvait encore battre un humain en lui laissant 9 pierres de handicap.)
À mon affirmation selon laquelle « les joseki du go n’ont pas fondamentalement changé », répondre qu’il y a quand même eu des changements et que de nouveaux joseki sont apparus donne un peu l’impression d’une « contradiction pour la contradiction », même si c’est aussi ce qui fait le sel d’un débat. Sans contradiction, le débat deviendrait trop fade.
En complément, le simple fait de distinguer différence qualitative et vitesse pourrait nous aider à mieux prévoir les perspectives de l’IA. Comme je l’ai mentionné plus haut, de la même façon qu’il est difficile d’aller vite sur la grande avenue de Gangnam, les problèmes que nous devons réellement résoudre se trouvent dans des environnements où il est difficile d’accélérer. Il y a donc des limites de vitesse, et si l’intelligence est qualitativement d’un niveau similaire, il sera difficile de produire un écart dans les résultats. Bien sûr, il peut exister certains domaines où il n’y a pas de goulot d’étranglement lié à la vitesse, mais je ne pense pas que ce soit le cas des maths et du code ; dans ces domaines, l’amélioration du niveau qualitatif me paraît d’abord prioritaire. (Cela dit, mon propos n’est pas de dire que l’IA ne rattrapera pas l’humain.)
Quand un humain et une IA s’affrontent et que l’un des deux l’emporte de manière écrasante avec un taux de victoire supérieur à 99 %, comment peut-on considérer qu’ils sont du même niveau ? Cela revient simplement à dire qu’il ne faut pas faire de distinction.
Dire que « dans le jeu de go, dieu, l’humain et l’IA sont du même niveau », cela ressemble à affirmer que, puisque dieu, l’humain et l’IA partagent les mêmes règles lorsqu’ils jouent au go, leurs compétences sont fondamentalement équivalentes. Mais partager les mêmes règles et avoir le même niveau sont deux choses complètement différentes.
Selon ce critère, même s’il existe manifestement un écart empirique, on pourrait quand même dire, d’après sa définition, qu’ils sont du même niveau ; dans ce cas, la discussion me semble n’avoir aucun sens.
En lisant un autre billet qu’il a publié sur son blog, j’ai l’impression que les prémisses mêmes à partir desquelles il accepte les preuves sont très différentes des miennes.
Dans ces conditions, il me semble difficile de poursuivre une discussion normale, donc je vais m’arrêter là.
Ah mdr, quand j’ai vu le « contradiction pour le plaisir de contredire » sans même apporter d’arguments supplémentaires pour étayer la réfutation, je me suis demandé ce que vous cherchiez au juste à faire…
Merci infiniment d’avoir joint le lien du blog. Je vais m’arrêter là, moi aussi.
Je me disais bien que vous n’aviez pas une éloquence ordinaire : vous étiez donc celui qui a gagné par le complotisme dans un pari sur la théorie du complot autour de l’alunissage.
Puisque vous réussissez même à faire passer une thèse complotiste sur l’alunissage, je me demande bien quel sujet de pari pourrait être impossible pour vous.
C'est vraiment un propos inattendu, donc vous avez dit que vous alliez vous arrêter là, mais pourrait-on en parler un peu plus ?
C'est peut-être parce que vous ne connaissez pas très bien le go, mais le fait qu'il y ait eu quelques légères variations dans les joseki existants, est-ce différent de dire que « les joseki du go n'ont pas beaucoup changé » ?
Vous savez sans doute que « beaucoup » et « pas du tout » n'ont pas le même sens, donc je suis curieux de savoir sous quel angle cela vous a fait penser : « qu'est-ce qu'il veut faire au juste ? »
J’ai bien compris que les différences de point de vue portent sur les critères d’évaluation. Comme vous l’avez dit, si l’on adopte le critère selon lequel une intelligence plus élevée est celle qui obtient ne serait-ce qu’un point de plus, alors moi aussi je pense que l’« hypothèse du continuum de l’intelligence » est fausse.
Merci pour votre avis.
La seule façon de découvrir les limites du possible est de s’aventurer un peu au-delà, dans l’impossible.
Un point de vue intéressant. Une hypothèse reste une hypothèse, et chacun peut avoir un avis différent. Réagir en y projetant trop fortement ses préférences, du genre « je n’aime pas cette hypothèse » ou « cette hypothèse me met mal à l’aise », me paraît étrange. En revanche, penser simplement que l’hypothèse est fausse, ou répondre en substance « comment pourrait-on le savoir ? », relève d’une opinion personnelle, donc il n’y a rien d’étrange à cela.
Puisque vous avez posé la question, je vais vous répondre ainsi : pour discuter de cette hypothèse, il faut absolument réfléchir à ce qu’est l’« intelligence ». La nature de l’intelligence est floue. Nous n’avons toujours pas de définition claire et faisant consensus à ce sujet. Elle reste floue pour le grand public comme pour les développeurs du domaine de l’IA, même si, en psychologie cognitive, elle fait aussi l’objet de nombreuses recherches.
Les questions sont un moyen très efficace de trouver des réponses, et une hypothèse est aussi, d’une certaine manière, une forme de question.
J’en ai écrit le contenu sur mon blog, mais si l’on me dit : « Je ne comprends pas de quoi il s’agit. Et cette hypothèse ne me plaît pas non plus », je pense qu’il n’y a pas grand-chose de plus que je puisse répondre. C’est sans doute simplement que je ne suis pas très doué pour écrire.