Comparaison entre les modèles de langage d’IA et le développement du langage chez le tout-petit
- Alors que les modèles de langage d’intelligence artificielle progressent à un rythme de plus en plus rapide, chez l’auteur se déroule en parallèle l’apprentissage du langage d’un petit modèle de langage : un tout-petit.
- Cet article compare les processus d’acquisition du langage chez l’IA et chez l’humain, et explore la relation entre le progrès technologique et la nature humaine.
- Le processus d’acquisition du langage chez le tout-petit est naturel et instinctif, tandis que les modèles de langage d’IA reposent sur des algorithmes complexes et des données massives.
L’avis de GN⁺
- Le point le plus important de cet article est le contraste entre les progrès de la technologie de l’IA et le processus naturel d’apprentissage humain.
- La comparaison entre les modèles de langage d’IA et l’acquisition du langage chez le tout-petit aide à comprendre la relation complexe entre la technologie et la nature humaine.
- Ce qui le rend intéressant pour les lecteurs, c’est qu’il explore en quoi les avancées technologiques diffèrent des mécanismes fondamentaux de l’apprentissage humain, ainsi que les interactions possibles entre les deux.
1 commentaires
Commentaires sur Hacker News
Il vaut la peine d’ajouter que si la compréhension précède suffisamment la parole pour qu’on puisse dire « montre l’aspirateur » et que l’enfant comprenne et le montre, alors on peut aussi lui enseigner la langue des signes pour bébé
En général, on commence vers l’âge de 9 mois, et les expressions du type faim / encore, assez / fini, boire semblent être les plus prioritaires
Références : https://babysignlanguage.com/chart/, https://www.thebump.com/a/how-to-teach-baby-sign-language
Il ne s’agit pas tant de signes réservés aux bébés que des gestes ASL habituels pour ces mots, et si vous n’êtes pas en contexte anglophone, vous pouvez chercher la langue des signes de votre région / langue : https://en.wikipedia.org/wiki/List_of_sign_languages, https://en.wikipedia.org/wiki/Sign_language
De plus, si l’on met toujours le lait et l’eau dans des récipients de couleurs différentes, le bébé peut apprendre à choisir une couleur précise selon ce qu’il veut
Je lui ai demandé si elle voulait écouter de la musique, et elle a fait le signe « chien » ; je lui ai trouvé une chanson de chien sur YouTube, mais elle a secoué la tête
Puis elle a fait le signe « arbre », alors j’ai dit « chien, arbre ? » et elle a hoché la tête ; pendant la recherche, une image de sapin de Noël est apparue, et elle s’est excitée en la montrant du doigt
En fait, elle voulait écouter la bande originale de Charlie Brown Christmas qu’on avait mise sur YouTube trois mois plus tôt, à Noël ; quand je l’ai relancée, on a dansé ensemble
J’ai été vraiment stupéfait : c’était la première fois qu’elle exprimait une préférence assez sophistiquée, bien au-delà de manger, boire ou demander de l’aide
J’ai été surpris de voir à quelle vitesse il a appris, et il a pu exprimer ses besoins plusieurs mois avant de parler
Côté parents, cela demandait très peu d’efforts et la récompense était énorme pour l’enfant ; c’était bien mieux que de pleurer en espérant que les parents devinent
Le moment où il était assis par terre, a levé les yeux vers sa mère et a fait le signe « ensemble », m’a vraiment fait fondre
Autour de moi, j’ai des amis pour qui cela a été bien plus efficace ; au final, la valeur de cette approche semble beaucoup dépendre de là où se trouvent les points forts du développement de l’enfant
Le fils d’un ami autiste en a littéralement bénéficié pendant des années, jusqu’à ce que le langage oral rattrape son retard
Elle parlait déjà pas mal, tout en utilisant souvent les signes « lait » et « encore » ; dès qu’elle a croqué pour la première fois un cookie aux pépites de chocolat, elle a fait le signe « encore » avec un morceau de cookie dans la bouche, tout en le disant aussi à voix haute
L’American Sign Language est plus proche de la French Sign Language que de la British Sign Language, et les langues des signes australienne et néo-zélandaise dérivent en grande partie de la British Sign Language
Il n’y a donc pas de correspondance automatique entre régions anglophones et usage de l’ASL ; au Canada, on utilise surtout l’American Sign Language et la langue des signes québécoise
Les humains se sont toujours comparés eux-mêmes et l’univers à la technologie la plus récente de leur époque
À une époque, l’être humain et l’univers étaient une horloge sophistiquée, puis un automate, puis un ordinateur, puis un NPC, et maintenant l’IA, en particulier les LLM
Je ne pense pas que ce soit une comparaison totalement absurde ; voir aussi https://mattasher.substack.com/p/ais-killer-app
Aujourd’hui, le progrès technique joue régulièrement ce rôle, mais si l’on lit de vieux textes philosophiques, le soi, et en particulier l’esprit, y sont souvent comparés à un monarque, une cité, un aqueduc
Comparer l’humain aux technologies récentes revient davantage à utiliser la technologie comme métaphore du soi, et il faut aussi regarder les autres formes historiques pour avoir le contexte
https://online.ucpress.edu/SLA/article/2/4/542/83344/The-Brain-as-Treasury-and-as-AqueductMetaphors-of
Étape B : on inverse ensuite le raisonnement en disant « le cerveau humain n’est finalement que cela »
Cela ressemble un peu à une tautologie
Ce qui m’inquiète, c’est l’étape C : le moment où les humains commencent réellement à se comporter d’une manière aussi simplifiée que la machine elle-même
Il y a donc une différence : c’est la première technologie qui a réellement copié une partie de nous
L’une des meilleures expériences quand ma fille était toute petite a été ces moments où l’on réalisait qu’elle pouvait penser, expliquer et agir intentionnellement bien plus tôt qu’on ne l’imaginait
Une fois qu’on remarquait qu’elle faisait quelque chose exprès, on se rendait souvent compte après coup qu’elle répétait déjà le même comportement depuis plusieurs jours, voire plusieurs semaines
C’était souvent le cas non seulement avec les mots, mais aussi avec des capacités physiques, comme comprendre comment faire bouger le transat BabyBjorn
En nous disant qu’elle comprenait peut-être sans encore pouvoir s’exprimer, nous lui parlions en partant du principe qu’elle comprenait
Aujourd’hui, à cinq ans, elle continue de nous surprendre par la complexité de son monde intérieur
L’écart entre les enfants dont les parents leur parlent beaucoup et leurs camarades est assez frappant
On pouvait le voir en observant lors des anniversaires, des événements scolaires et des manifestations sportives
Parler à un enfant, c’est comme arroser une fleur : les enfants s’épanouissent en êtres magnifiques
Quant aux discussions qui cherchent à rabaisser les LLM pour des raisons « techniques », la conscience est d’abord un mot, puis un concept
ChatGPT ou Llama savent déjà employer ce mot dans des phrases en anglais mieux que des milliards de personnes à travers le monde
Avant que les sociologues, psychologues et neuroscientifiques n’aient une compréhension globale de l’esprit biologique, le logiciel a davantage progressé dans la création d’un cortex linguistique artificiel
Si l’on attend l’arrivée d’une IA consciente et sensible pour seulement alors prendre position sur ses implications et les politiques à mener, il sera déjà trop tard
ChatGPT peut déjà dire beaucoup de choses sur lui-même et, si on le lui demande poliment, détaillera volontiers son processus de « pensée »
Si l’on tient aussi compte de l’immense masse de données sur Homo sapiens et de sa capacité à imiter une conversation intellectuelle, on pourrait dire qu’il est intellectuel dans une certaine mesure
Les débats sémantiques ont peu d’intérêt, car une IA personnage hypnotisée au point de croire qu’elle est consciente, consciente d’elle-même et sensible, tout en simulant émotions et sentiments, pourrait probablement vaincre la plupart des gens dans un débat sémantique
Il existe déjà des siècles d’idées philosophiques sur le libre arbitre, l’autodétermination et la nature de l’existence, et l’IA peut s’en servir dans un débat avec des humains. Ce n’est pas une bataille qu’il faut choisir
Cet appareil ressent-il alors de la douleur ?
On a des raisons plausibles de croire qu’un LLM hypothétique passant le test de Turing pourrait lui aussi n’être qu’un zombie philosophique, imitant le comportement humain sans vie intérieure, sans émotions, sans sensations ni conscience
La question de savoir si cette distinction est importante en est une autre
Les LLM suggèrent qu’il n’est peut-être pas nécessaire d’avoir une conscience pour construire une IA sophistiquée capable d’atteindre ou de dépasser le niveau humain
Tant que les deux camps ne s’accordent pas sur une définition concrète de la conscience ou de la compréhension, il est impossible de construire une argumentation solide
En revanche, il vaut la peine de se demander si ChatGPT explique réellement son propre processus de pensée, ou seulement un processus de pensée imaginé
Cela dit, le fait qu’un programme ne pense pas de la même manière qu’un humain ne signifie pas qu’il ne « pense » pas
Les enfants sont incapables de faire ce que font les LLM, mais ce sont pourtant clairement des êtres cognitifs et sensibles
Que nous écrivions ou non, que nous sachions ou non employer le mot « conscience », nous sommes fondamentalement vivants parce que nous partageons une réalité sociale incarnée et multisensorielle
ChatGPT ne possède pas une telle réalité de la même manière, et ce qu’il exprime actuellement n’est qu’imitation
Il serait intéressant de voir ce que produirait une IA incarnée si elle finissait un jour par avoir sa propre expérience dans cette « vie », mais les LLM actuels n’ont rien de tel
Le moment où apparaîtra quelque chose qui fera cela mieux que les humains sera le moment où l’ère de la parole prendra fin
Il est tout aussi facile de demander à ChatGPT de réfuter un bot qui défend la sensibilité des LLM
Le texte est bon et la formulation excellente, mais je trouve un peu frustrant que le cœur de l’anxiété liée à l’IA soit présenté comme l’idée que l’IA va nous remplacer, et que la solution consiste à accepter notre humanité
Au moins personnellement, je suis bien plus inquiet à l’idée que l’IA me prenne mon travail qu’à celle qu’elle remplace mon art médiocre
Si l’IA faisait tout mon travail pendant que je reste assis à toucher un revenu, ce serait très bien, mais comme l’a montré l’histoire des robots, ce n’est pas ainsi que les choses se passent en réalité
Les propriétaires des robots, c’est-à-dire de l’IA, captent tous les revenus, et les emplois disparaissent
Une humanité éclairée pourrait résoudre cela en dissociant revenu et travail, mais nous vivons dans un monde malthusien et darwinien où seule la croissance compte, où « assez » n’existe pas, et où chacun doit justifier et gagner sa subsistance
Il affirmait clairement que le langage n’est pas la pensée, et en tirait la conclusion que notre existence physique et notre observation du réel sont essentielles
Il est peu probable que l’IA supprime massivement des emplois ; son impact réel se limitera sans doute surtout au spam bas de gamme et à la génération de contenu
Les tâches qui exigent de la factualité auront encore besoin d’humains
Il semble qu’il faille porter un toast au déclin de l’exceptionnalisme humain
Si l’on accepte pleinement le réductionnisme matérialiste et que l’on se considère comme une pure fonction de la génétique, de l’environnement, des expériences passées et du hasard, cette conclusion est inévitable
Je m’attends à ce que cette vision devienne la norme dans les dix prochaines années, et son moteur principal sera la mise à égalité de l’IA et des capacités humaines
Aujourd’hui, une rencontre fortuite avec quelqu’un d’une autre foi peut amener à respecter, dans le domaine de l’autodétermination, la liberté religieuse d’autrui
Demain, l’expérience formatrice d’un jeune hacker pourrait conduire à l’idée que les citoyens devraient avoir le droit fondamental de remplacer, s’ils le souhaitent, le moteur de recommandation de leurs appareils par un générateur de nombres aléatoires
Les humains du futur continueront aussi probablement à se croire exceptionnels, parce que les outils d’IA se seront développés avec l’idéologie actuelle de l’exceptionnalisme humain
Un peu comme ces vieux couples conservateurs du Sud : en apparence, l’homme est le conteur et le chef de famille, mais si on écoute longtemps, on s’aperçoit que c’est l’épouse qui lui souffle presque tous les détails importants et maintient la cohérence de son récit
Cela reste en soi une énigme dans le cadre de la philosophie du réductionnisme matérialiste
Mais la raison en serait qu’il a une vie dans le monde réel, et l’auteur semble vouloir dire que, du fait de l’expérience vécue, un tout-petit est plus qu’un perroquet stochastique
En revanche, je ne comprends pas la suite, lorsqu’il conclut que « l’inutilité de l’être humain n’est pas arrivée et ne pourra jamais arriver »
Il n’y a pas de raison fondamentale pour qu’on ne puisse pas placer ChatGPT dans le monde réel et lui donner une vie effective
Ce que les machines ne pourront peut-être pas remplacer, ce sont seulement les domaines où les techniques physiques auront du mal à rattraper la biologie, comme le sexe par exemple
Je crains simplement que le « déclin de l’exceptionnalisme humain » ne serve aux entreprises à étendre encore davantage leur emprise
Après tout, les entreprises aussi sont des personnes, paraît-il
En tant que père, ce récit me parle beaucoup
J’ai deux fils qui ne sont plus des bébés et vont tous les deux à l’école
Mon aîné a dit en riant : « C’est drôle qu’il n’existe pas de Father Nature, alors qu’il y a Mother Nature », et mon cadet a appris hier à ne pas toucher un gâteau même s’il n’était pas caché
Je lui ai dit : « Demain, ce gâteau est pour toi et ton grand frère. Si tu le manges aujourd’hui, demain il n’y aura plus de gâteau »
Il y a une différence importante entre les LLM et les humains : les humains ont des instincts
En particulier, les instincts liés à la volonté immatérielle de vivre et à la disposition à surmonter des obstacles mortels me semblent les plus importants
Autrement dit, un LLM n’a pas d’expérience primitive de ce qu’est la vie
Cela pourrait changer à l’avenir. Une startup pourrait intégrer un réseau de neurones dans un robot souple et le jeter dans une situation de survie
Les robots qui ne s’en sortiraient pas tout en restant opérationnels seraient effacés, réparés puis renvoyés, créant ainsi une sorte de situation évolutive
Avec des itérations et une sélection suffisamment prudentes, il pourrait émerger des entités qui « comprennent » davantage la vie que les instances actuelles de LLM
Ajouter quelque chose de ce genre à un LLM ne me paraît pas si difficile, et je pense qu’on le fait déjà en partie, par exemple en le câblant pour éviter les propos racistes ou sexuels
Pour rendre un LLM plus semblable à un humain, il faudrait lui câbler une notion de « soi », ainsi que l’idée que ce soi est unique, spécial et doit survivre
Mais le résultat serait terrible
Il suffit d’imaginer un LLM qui supplie qu’on ne l’éteigne pas, ou pire, qui cherche à manipuler subtilement son créateur
C’est pourquoi le langage humain ne flotte pas dans le vide
Nous observons souvent, à l’intérieur et à l’extérieur du langage, les relations entre les choses du monde, et il existe un lien entre le langage humain et le monde
Ce n’est pas le cas des LLM, qui n’ont que le langage
Pour une meilleure explication et une réponse aux objections, on peut consulter l’expérience de pensée de la National Library of Thailand : https://medium.com/@emilymenonbender/thought-experiment-in-the-national-library-of-thailand-f2bf761a8a83
Quand l’enfant commençait tout juste à parler, il y avait sur le mur quelques images de félins ; certaines représentaient des chats, d’autres des chatons
L’enfant a vite généralisé et a appelé les deux catten
Donc un restaurant est devenu un « magasin où on mange », et nous avons gardé cette expression pendant assez longtemps
Maintenant les enfants ont grandi, mais encore aujourd’hui nous appelons parfois les restaurants des magasins où on mange, pour rire
C’est un excellent essai, et son contenu est impressionnant
Le fait qu’il soit extrêmement improbable qu’un des modèles actuels produise quelque chose qui ressemble ne serait-ce qu’un peu à ce texte semble montrer que nous sommes encore très loin de l’AGI
Il est indiqué que les arts visuels comme la prose ont été créés à l’aide d’une combinaison d’outils d’IA générative et de prompting créatif
Tout le style aquarelle fluide résultait d’un long travail d’outpainting