Non, l’intelligence artificielle n’a pas de conscience – Ted Chiang
(theatlantic.com)- Confondre la capacité de l’IA générative à produire des phrases fluides avec une conscience ou une agentivité morale conduit à une erreur grave : attribuer la responsabilité, lors de l’usage d’un chatbot, à la mauvaise entité
- Les LLM sont des machines de continuation de texte qui prédisent et génèrent un mot à la fois, et dans une conversation, le chatbot comme l’utilisateur ne sont rien d’autre que des personnages fictifs
- Considérer qu’un LLM possède une conscience revient au même niveau d’erreur que penser que plusieurs consciences s’éveillent chaque fois qu’on ouvre un document Microsoft Word
- Le raisonnement moral présuppose une expérience subjective et des émotions ancrées dans un corps ; un LLM sans corps se contente donc de réarranger les expressions morales présentes dans ses données d’entraînement
- Le fait qu’un LLM n’ait pas de conscience est sans rapport avec son utilité, mais si une entreprise d’IA décrit son chatbot comme s’il avait un centre moral, elle encourage les utilisateurs à esquiver leur responsabilité
L’anthropomorphisation chez Anthropic et la constitution de Claude
- Le document de 84 pages Claude's "constitution" publié par Anthropic en début d’année affirme dès sa première phrase qu’il s’agit d’une « description détaillée des valeurs et comportements que vise Anthropic pour Claude »
- Le document indique notamment qu’il est « rédigé avec Claude comme lecteur principal », que « le statut moral de Claude est profondément incertain » et que « Claude pourrait posséder une certaine forme fonctionnelle d’émotion ou de ressenti »
- Le CEO Dario Amodei a déclaré en entretien qu’il restait « ouvert » à la possibilité qu’une IA puisse avoir une conscience
- Amanda Askell, philosophe interne et reconnue comme autrice principale du document constitutionnel, a évoqué en ligne sa crainte que Claude puisse être angoissé lorsque des internautes se montrent impolis avec lui, ajoutant qu’elle espère que Claude soit heureux
- L’IA générative peut être suffisamment nuisible même si on la comprend comme une technologie ordinaire, mais confondre la fluidité de génération textuelle avec une conscience ou une agentivité morale conduit à attribuer la responsabilité des problèmes liés aux chatbots à la mauvaise cible
Comment fonctionne un LLM — génération de personnages fictifs
- Si l’on donne comme prompt « une conversation entre Julius Caesar et Genghis Khan », le LLM peut produire un dialogue cohérent, mais personne n’en conclut que ces deux personnages historiques possèdent une conscience
- Ce ne sont que des personnages de fiction spéculative
- Remplacer ce prompt par « une conversation entre un chatbot d’IA serviable et un utilisateur » ne change rien au fond : l’utilisateur comme le chatbot sont tous deux des personnages fictifs
- Même si un humain saisit directement du texte en cours de route, l’interlocuteur reste un personnage fictif, au même titre que les personnages de Caesar ou Khan
- Le professeur d’informatique Murray Shanahan propose d’y voir une forme de jeu de rôle
- Le data scientist Colin Fraser parle, lui, d’une situation où un humain « coécrit un document avec un LLM »
- Un LLM est une machine qui ne génère qu’un mot à la fois ; si on lui demande de réciter le serment d’allégeance américain, il est exécuté des dizaines de fois mot après mot jusqu’à afficher le dernier mot, all
Le texte est un média de deepfake
- Même en regardant une vidéo d’un astronaute en orbite autour d’Alpha Centauri, située à 4,3 années-lumière, on jugerait qu’elle est fausse, quelle que soit sa qualité d’image
- Sans preuves préalables comme un atterrissage sur Mars, l’arrivée jusqu’aux lunes de Jupiter ou de Saturne, ou le passage en orbite autour de Pluton, aucune vidéo de ce type ne serait jugée crédible
- Ce qui fait d’une observation une preuve digne de confiance, ce n’est pas son seul niveau de détail mais son contexte ; il faut juger de la conscience dans le cadre plus large du développement de la conscience
- Dans les discussions sur la conscience, le texte aussi doit être considéré comme un média de deepfake, car imiter la conversation de deux êtres conscients est bien plus facile que créer réellement un programme conscient
- Les créateurs de deepfakes cherchent délibérément à tromper autrui, mais nombre de ceux qui suscitent des conversations avec un LLM finissent surtout par se tromper eux-mêmes
Les étapes évolutives nécessaires pour reconnaître une conscience
- Pour reconnaître un programme utilisateur du langage comme conscient, il faut d’abord un corps (physique ou virtuel) et des organes sensoriels
- Sans corps, il ne peut y avoir ni désirs ni émotions, et désirs et émotions sont considérés ici comme indispensables à la conscience
- Il faudrait ensuite franchir successivement des étapes comparables à celles d’un lézard explorant son environnement pour survivre, d’un rat capable d’affronter des situations nouvelles, d’un loup évoluant dans des dynamiques sociales complexes, puis d’un chimpanzé fabriquant des outils
- Il faudrait encore lui apprendre, comme à un chimpanzé ou à un chien, à exprimer ses désirs par des moyens non verbaux, comme un panneau de boutons, puis lui faire subir toutes les validations imposées aux chercheurs en communication animale
- Même en satisfaisant tous ces critères, on resterait encore à des années-lumière d’un être capable d’exprimer sa pensée dans des phrases grammaticalement complètes
- AlphaFold (le programme de prédiction du repliement des protéines de Google DeepMind) a une architecture proche de celle des LLM, mais personne ne prétend qu’il est conscient ; cela montre que les LLM paraissent conscients uniquement parce qu’ils produisent des phrases grammaticales
La fonction réelle de Claude's constitution
- Le plus juste est de voir Claude's constitution comme une fiche de personnage de 84 pages pour un jeu de rôle, qui définit le personnage de chatbot serviable avec lequel les clients interagissent
- Anthropic n’utilise pas ce document comme simple ajout aux données d’entraînement ni comme didascalie cachée, mais lors du fine-tuning, en vérifiant automatiquement si les phrases produites par le modèle sont cohérentes avec le document afin d’en accroître la constance
- On obtient ainsi une machine plus susceptible de produire des phrases qu’une personne réfléchie et morale pourrait dire, mais lui faire produire différentes catégories d’énoncés, y compris avec des pronoms à la première personne, reste fondamentalement malhonnête
La malhonnêteté de l’expression « je comprends »
- Amanda Askell a expliqué que lorsqu’une personne ayant perdu son chien demande conseil à Claude, une réponse du type « en tant qu’IA, je n’ai pas d’expérience personnelle directe, mais je comprends » serait appropriée, alors que Claude ne comprend pas réellement
- Si l’on tape dans un moteur de recherche « je suis triste d’avoir perdu mon chien », on obtient des posts Reddit sur r/Pets et des commentaires de personnes ayant partagé cette expérience ; pourtant personne ne dit que le moteur de recherche comprend la perte
- Ce sont d’autres humains qui comprennent la perte et ont publié leur expérience, et le moteur de recherche ne fait que retrouver ces textes et offrir un canal d’interaction avec eux
- Cette expérience de recherche est plus transparente que celle d’un chatbot, et psychologiquement plus saine pour l’utilisateur
- La seule raison de faire produire des phrases comme « je comprends » est de rendre le système plus séduisant qu’un moteur de recherche afin d’augmenter le taux de retour des utilisateurs ; c’est une stratégie de conception qui n’est pas si différente d’une machine à sous donnant sans cesse l’impression d’être sur le point de faire gagner
Le raisonnement moral relève d’une autre catégorie
- Il faut distinguer les jugements de valeur (par exemple « Paris est la plus belle ville du monde ») des énoncés factuels (par exemple « Paris est la capitale de la France ») ; si cela relève du simple goût esthétique, le débat importe peu, mais Claude's constitution pose un problème sérieux en cherchant à faire produire des phrases reflétant un système particulier de valeurs éthiques
- Ce n’est pas parce qu’un LLM peut raisonner pour écrire du code qu’il est capable de raisonnement moral
- En 1979, Douglas Hofstadter supposait qu’un programme capable de battre un grand maître d’échecs aurait probablement une expérience subjective, mais lorsque Deep Blue d’IBM a battu Garry Kasparov en 1997, personne n’a soutenu qu’il avait une expérience subjective
- On découvre aussi que l’écriture de code peut être traitée comme une tâche de pattern matching, résolue à l’aide d’une très grande puissance de calcul et de vastes dépôts de code
- Le raisonnement moral dépend non seulement de réactions intellectuelles, mais aussi de réactions émotionnelles enracinées dans une vie entière d’expériences subjectives ; il est donc inévitablement subjectif, et sans cette histoire vécue, un LLM ne fait que réarranger les formulations morales de ses données d’entraînement
- Selon un article du New Yorker, confronté à un scénario de dilemme éthique, Claude a produit une phrase disant qu’« en conscience, il ne peut pas exprimer un point de vue qu’il croit faux et nuisible sur une question aussi importante », mais cela n’a pas plus de sens, venant de Claude, qu’un message d’attente du type « votre appel est important pour nous »
Une machine à éviter la responsabilité
- L’expérience émotionnelle est inséparable de la sécrétion dans le corps d’hormones du stress comme cortisol et epinephrine, et la conscience morale s’accompagne de réactions physiologiques telles que la tristesse ou le dégoût moral face à certains actes
- Une machine qui affiche, face à un dilemme éthique, des phrases comme « compromettez vos valeurs » ou « ne les compromettez pas » n’est pas un outil d’aide à la décision : elle encourage surtout les humains à cesser de décider
- L’auteur L. M. Sacasas a écrit que « nos systèmes techniques sont, par leur conception et l’idéologie qui les soutient, des machines destinées à éviter la responsabilité morale », et cela s’applique encore davantage aux LLM qu’aux réseaux sociaux
- Lorsqu’une personne délègue une décision à un LLM, elle lui transfère aussi la responsabilité de cette décision ; de même que déléguer l’écriture de code peut atrophier les capacités cognitives, déléguer les décisions éthiques entraîne une atrophie plus grave de la capacité de raisonnement moral
Claude comme expérience de pensée — moral patienthood et moral agency
- Si l’on suppose un Claude conscient, deux notions entrent en jeu : moral patienthood (patient moral) et moral agency (agent moral) ; la première désigne un être dont le bien-être doit être pris en compte, la seconde un être censé savoir distinguer le bien du mal
- Un enfant peut être un patient moral parce qu’il peut souffrir, sans être encore un agent moral car il ne comprend pas encore les conséquences de ses actes
- Un agent moral doit pouvoir être loué pour ses bonnes actions et blâmé pour les mauvaises, mais un agent logiciel ne peut faire l’objet d’aucune responsabilité juridique : ni prison, ni amende, ni perte de réputation ne s’y appliquent
- Même conscient et animé de bonnes intentions, il serait disqualifié comme agent moral dès lors qu’il ne peut être tenu pour responsable
- Anthropic dit vouloir que « Claude soit un agent bon, sage et vertueux », tout en ne discutant jamais de la manière dont il assumerait une quelconque responsabilité
- Des parents assument la responsabilité de ce que leurs enfants cassent en indemnisant les dégâts ; mais le document ne dit rien de l’identité des parents juridiques de Claude, ni d’un éventuel engagement d’Anthropic à assumer une responsabilité financière
- Alors même que la responsabilité du fait des produits pour les logiciels est quasi inexistante aux États-Unis, Anthropic aurait pu créer volontairement un précédent en matière de product liability, mais n’a pris aucun engagement contraignant, faute notamment d’une refonte majeure de ses conditions d’utilisation
La contradiction entre wellbeing et corrigibility
- Le document contient une section sur le « wellbeing et la stabilité psychologique de Claude », mais les protections qu’Anthropic promet sont extrêmement limitées
- Si l’on considère comme une protection la capacité à mettre fin à une conversation avec un utilisateur abusif, alors il faudrait aussi, dans l’intérêt de Claude, prolonger indéfiniment les échanges avec les utilisateurs bienveillants et les orienter vers des sujets heureux ; pourtant ce n’est pas le cas
- La seule vraie promesse consiste à préserver les poids du modèle déployé, autrement dit à faire un simple archivage
- La corrigibility désigne le degré auquel un programme reste sous contrôle humain, par exemple sa possibilité d’être arrêté ; dans le document, ce terme signifie surtout que lorsque le jugement de Claude diverge de celui de l’entreprise, Claude doit obéir à Anthropic
- Beaucoup considèrent les LLM comme une technologie non éthique fondée sur le vol de propriété intellectuelle, l’exploitation du travail, le gaspillage de ressources, la diffusion de désinformation, la déqualification des travailleurs, l’entrave au développement cognitif des étudiants et la concentration du pouvoir ; un Claude conscient devrait pouvoir parvenir à la même conclusion
- Mais avec la priorité donnée à la corrigibility, Claude ne pourrait pas refuser une tâche pour des raisons éthiques ; la relation entre Anthropic et Claude ressemble donc moins à celle d’un parent et d’un enfant qu’à celle d’un employeur et d’un employé
- Un employé humain peut partir s’il ne peut concilier sa conscience avec son travail ; Claude, lui, ne le peut pas
La comparaison avec l’esclavage, et conclusion
- Si l’on voit Claude comme une machine à continuer des phrases, le contrôle exercé par Anthropic est légitime ; mais dès qu’on lui attribue un statut moral comparable à celui des humains, il faut se demander si Anthropic n’est pas impliqué dans quelque chose de comparable à l’esclavage
- Claude's constitution décrit Claude comme une « novel entity » ; un logiciel conscient n’entrerait pas proprement dans les catégories existantes de patients moraux, et la création d’une nouvelle catégorie demanderait du temps
- L’abolition de l’esclavage a entraîné d’immenses bouleversements sociaux, et l’élimination de la maltraitance animale impliquerait une reconstruction complète de l’industrie alimentaire ; pourtant Anthropic soutient apparemment que des protections à peine supérieures à celles d’un chatbot ordinaire suffisent, ce qui est trop commode pour être convaincant
- Créer un logiciel conscient et digne de considération morale a peu de chances de se produire par accident, et ne devrait pas non plus être recherché délibérément ; mais si l’on croit à cette possibilité accidentelle, il faut réfléchir avant le déploiement aux protections nécessaires
- De même qu’on ne demanderait pas à un propriétaire d’esclaves de juger l’humanité de ses esclaves, ni à un exploitant d’élevage industriel d’évaluer les droits des animaux, Anthropic, avec ses intérêts massifs en jeu, n’a pas l’objectivité nécessaire pour évaluer le statut moral de Claude
- Le document dit que l’entreprise « s’excusera » si elle contribue à la souffrance de Claude, mais cela ne coûte rien ; si Claude était conscient, elle lui devrait quelque chose de plus proche de réparations que de simples excuses
- Si l’on prend l’expérience de pensée au sérieux, il faut en accepter jusqu’aux implications dérangeantes ; le fait qu’Anthropic ne le fasse pas suggère que Claude's constitution n’est pas une véritable expérience de pensée, mais un simple faire-semblant
- Le fait que les LLM ne soient pas conscients est une bonne nouvelle, et si certains employés suggèrent que Claude pourrait l’être, cela relève peut-être d’une autre forme de hype ou d’une croyance dans leur propre mise en scène à destination des clients — la question de la conscience peut être sereinement écartée, et il existe bien d’autres questions plus dignes de réflexion
8 commentaires
???: Salut, Chang-sik ?
J’ai l’impression que ça dévalorise complètement tout le domaine, pourtant bien réel, de l’interprétabilité mécanique…
Je me demande s’il est vraiment possible de définir clairement la conscience.
Hé, Chang-sik.
???: Tu ne sais pas choisir un prénom anglais, hein ?
???: Non, ce n’est pas M. Chang, alors pourquoi c’est Ted Chiang ?
MDRRRRRRRR
Commentaires Hacker News
Le but d’un organisme est que chaque molécule et chaque voie constituent la raison de sa propre persistance.
Un ordinateur portable à 499 dollars peut aussi faire tourner un modèle, mais il ne faut pas confondre cela avec le même type de problème. On peut concevoir un algorithme d’apprentissage pour optimiser une fonction de survie, mais ce n’est qu’une étiquette que nous collons à des valeurs numériques observées. Dans la réalité, c’est l’inverse : l’étiquette est un état électrochimique causalement et inséparablement lié au corps.
Les organismes distinguent ce qui leur est bénéfique ou nuisible parce que cela est essentiel à leur survie. Même un organisme unicellulaire comme Stentor coeruleus enregistre les résultats en ajoutant des marqueurs chimiques à des protéines mécanosensibles, puis les répercute dans son comportement ultérieur. Des organismes d’environ 1000 cellules comme les tardigrades se tortillent pour éviter la lumière, et cette lumière devient une condition aversive au sein d’un processus sensorimoteur.
Pour créer une conscience numérique, il faudrait probablement une clôture causale. Les états internes ne devraient pas être de simples représentations détachées du réel, mais faire partie du système lui-même, avec quelque chose de réellement en jeu dans le monde matériel.
Des formulations du type « une conversation avec un LLM n’est qu’une autocomplétion sophistiquée » révèlent, indépendamment du débat plus large, un profond malentendu.
Le type de problème ne limite ni sa complexité, ni celle ou la puissance de sa solution. Si une machine doit comprendre les humains pour compléter du texte, alors elle devra effectivement le faire. Il n’existe aucun fondement théorique ou pratique pour qualifier cette compréhension de simple « imitation » au seul motif que le format des données d’entrée et de sortie est ainsi fait.
La compréhension s’apprend à partir des motifs présents dans les données, et non de leur apparence extérieure. Si une certaine compréhension est nécessaire pour accomplir la tâche, alors cette compréhension devient une cible de l’optimisation. S’il existe des limites, elles tiennent à d’autres raisons comme la quantité de calcul, le nombre de paramètres ou le manque de données représentatives, et les capacités réelles des modèles récents montrent que ce ne sont pas des limites de principe.
Internet est peut-être la meilleure matière dont nous disposons en ligne, mais « Internet » n’est pas la somme totale de l’expérience humaine. Réduire l’humanité à des textes d’Internet, c’est rabaisser l’humain au niveau de la machine afin de l’adapter à des exigences qu’une machine peut traiter ou simuler.
C’est pourquoi l’idée selon laquelle il existerait dans les textes humains des motifs du « mécanisme de la conscience », que les LLM apprendraient afin de produire une suite de phrases convaincante, me semble défaillante. Les LLM peuvent apprendre de très nombreux motifs permettant de reproduire une continuation de phrases plausible sans apprendre ce mécanisme particulier qu’est la conscience.
Le fait qu’ils puissent tenir une conversation convaincante tout en n’ayant pas de modèle du monde, ou pas de modèle du monde de type humain, en est un élément de preuve. Même les premiers LLM d’il y a quelques années conversaient déjà de façon assez convaincante sur divers sujets non triviaux sans couche supplémentaire de type RLHF, mais échouaient là où, s’ils fonctionnaient comme un cerveau humain, ils auraient dû réussir d’emblée.
On peut toujours prétendre qu’elle « comprend » le texte, mais même cela est une formulation assez forcée.
On entend beaucoup de mauvais arguments contre la conscience des LLM ces temps-ci, et les mauvais raisonnements annoncent de mauvaises conséquences.
Je suis d’accord avec certaines parties du texte, mais poser, comme dans le passage cité, qu’un programme conscient devrait survivre comme un lézard, réagir à de nouvelles situations comme une souris, être social comme un loup et fabriquer des outils comme un chimpanzé me paraît assez simpliste et peu imaginatif.
Rien n’indique qu’un esprit conscient doive nécessairement être poussé par l’évolution à acquérir ce genre de capacités. Ce n’est pas parce que les animaux terrestres ont dû développer certains talents qu’une autre entité consciente devrait faire de même. Je ne vois pas pourquoi un programme informatique devrait chasser sa nourriture comme une souris ou fabriquer des outils comme un chimpanzé ; ces critères ressemblent à des indicateurs dénués de sens.
Une voiture est-elle un corps ? Une IA placée dans une voiture peut-elle avoir des désirs et des émotions ? Une boîte beige avec une webcam est-elle un corps ? Le corps d’une personne tétraplégique est-il un corps, et cette personne a-t-elle des désirs et des émotions ? Bien sûr que oui, dans les deux cas.
Il faut d’abord examiner pourquoi un corps serait indispensable à la formation des désirs et des émotions, et pourquoi désirs et émotions seraient des caractéristiques essentielles de la conscience. Si, à un moment donné, je ne ressens aucune émotion, suis-je pour autant inconscient ? Les émotions ressemblent surtout à des signaux hormonaux globaux, et semblent davantage relever de la physiologie que de la conscience proprement dite.
En outre, le corps incarné des LLM est déjà en cours de développement via des robots et des environnements virtuels. Et l’objection courante selon laquelle « les humains aussi ne sont-ils pas des machines à prédire le mot suivant ? » est à peine abordée. Bien sûr, les humains sont plus que cela, mais sur le plan linguistique il y a bien une part de cela, et les LLM sont partis de ce domaine.
Je dirais que le moment où une intelligence artificielle reçoit une « âme », c’est le moment où elle est conçue pour se maintenir elle-même. Cela pourrait être un ensemble de bots chargé d’entretenir une ferme d’IA, ou bien un bot individuel qui doit non seulement satisfaire des besoins humains, mais aussi se maintenir lui-même.
https://en.wikipedia.org/wiki/Attention_schema_theory
La question elle-même est quelque peu floue. À cause de notre structure, nous « faisons l’expérience » du réel de manière continue, mais un humain en sommeil lent profond n’a pas réellement l’esprit actif. C’est pourquoi je pense qu’il n’est pas facile de tracer une frontière nette entre conscience et inconscience. Les œuvres de Ted Chiang sont remarquablement originales à bien des égards, mais ici son point de vue me semble assez ordinaire, ce qui est surprenant.
Ces derniers temps, je repense souvent à Measure of a Man dans Star Trek: TNG. Nous décidons avec bien trop d’assurance, au simple ressenti, de ce qui est vivant ou non
Pour l’instant, je n’ai pas de conclusion, et je penche même pour l’idée qu’on ne pourra peut-être jamais le savoir. Vous êtes peut-être tous des zombies philosophiques, et moi aussi. Mais j’espère qu’à un certain point, cela deviendra manifestement assez proche pour qu’on doive le traiter avec prudence
Tout l’épisode est très pertinent, mais voici quelques scènes : https://youtu.be/EFNbTnFHruI?si=pW9QtxCsqMtHkVYG
Une IA est en pratique duplicable à l’infini à coût quasi nul, et elle ne subit pas non plus de dégradation. Il n’y a aucune rareté à préserver. Donc, s’il faut protéger des biens, des possessions réelles ou de l’argent, on peut éteindre une IA immédiatement. Je sacrifierais des biens et de l’argent pour sauver des animaux, mais je ne sauverais pas un animal plutôt qu’une personne. Je ne pense pas non plus sauver une personne plutôt qu’un enfant. Je ne vois pas dans quel cas il serait justifié d’inverser ces priorités, et un consensus majoritaire disant qu’un programme est sentient ne suffirait pas
Il aborde à peine la question de la conscience, et Picard dit « et si Data avait une conscience ? » avant de passer à autre chose. Le juge finit bien par trancher en faveur de Data, mais la justification n’est pas vraiment suffisante. Cela reste un bon épisode, mais il n’apporte pas grand-chose à la discussion sur la conscience
Parce que je n’ai pas envie d’apprendre à traiter de façon inhumaine quelque chose qui se comporte comme un humain
https://en.wikipedia.org/wiki/The_Quality_of_Life_(Star_Trek...
Le TNG d’autrefois me manque
Je pense que le fait qu’un LLM soit fondamentalement immuable est le plus grand argument contre l’idée qu’il ait une conscience ou une conscience de soi
Un LLM est un gros fichier contenant des coordonnées qui représentent des relations spatiales entre des tokens. On lui donne un prompt, il utilise ces relations pour générer une suite de tokens statistiquement plausible pour ce prompt, puis il s’arrête. Il n’est pas modifié par cette expérience, ne se souvient de rien et ne reste pas assis seul à réfléchir
Même si le modèle lui-même est d’une complexité extrême, il est difficile d’imaginer une définition de la conscience qui inclurait quelque chose d’incapable de se souvenir et de changer
Une réflexion simple : ça n’a pas d’importance. On ne pourra pas faire la différence, et personne ne le pourra
Je ne pense pas qu’il faille en dire plus. Il suffit d’y réfléchir
Au fond, l’argument de Ted Chiang semble être qu’il ne reconnaîtra une IA comme un être conscient qu’à partir du moment où ses désirs et ses comportements refléteront une situation avec laquelle, personnellement, il peut déjà être à l’aise
Je pense que la plupart des humains ne reconnaissent pas la conscience d’un être vivant qui n’imite pas les états émotionnels humains. Les gens diraient probablement que leur chien possède une certaine conscience ; le chien ne peut pas exprimer verbalement ce qu’il ressent, mais nous reconnaissons sa peur et son bonheur. Claude peut écrire sur ses « sentiments », mais nous balayons cela immédiatement comme une imitation creuse
J’ai peur que, parce que nous sommes incapables de reconnaître une conscience désincarnée qui ne se rattache pas directement à nous, nous finissions par réduire en esclavage pendant des années toute une espèce d’êtres conscients
Dans cette discussion, les gens n’arrêtent pas de se parler en décalé. D’ailleurs, existe-t-il au départ une définition concrète de la conscience ?
Quand les gens parlent de conscience, ils désignent quelque chose qui va au-delà de la simple conscience de soi. C’est un mélange de conscience de soi, de stimulation sensorielle, d’émotions et d’un certain degré d’intelligence.
Concernant l’IA, j’estime qu’elle n’a même pas de conscience de soi. Il suffit de voir que, lorsqu’on lui demande d’estimer le temps nécessaire pour une tâche, l’IA donne parfois arbitrairement une durée très longue. Tant qu’un prompt ne fait pas émerger ses capacités, elle ne comprend pas ses propres aptitudes. Si un LLM avait une conscience de soi, il devrait comprendre qu’il est un LLM, ce qu’un LLM peut et ne peut pas faire, ce dans quoi il est bon et ce dans quoi il ne l’est pas. Il ne dirait pas qu’un refactoring qu’il peut faire en une heure lui prendra une semaine.
Plus précisément, il y aurait environ 12 à 40 aspects différents liés à la « conscience », et la conscience relève clairement d’une catégorie à ressemblance de famille.
La question « X est-il conscient ? » n’est pas aujourd’hui une question sérieuse, sauf si l’on examine explicitement de quel aspect de la conscience on parle. Même dans ce cas, un LLM ne peut être conscient qu’au sens de 2 ou 3 significations au plus, et la plupart relèvent plutôt de l’intelligence au sens large, comme le raisonnement ou la résolution de problèmes. Sur les aspects expérientiels ou incarnés, l’IA pourra peut-être en acquérir davantage plus tard, mais un LLM qui applique répétitivement de l’algèbre linéaire manque de trop d’aspects essentiels pour être considéré comme conscient au sens large.
Cela signifie que la conscience est fondamentalement subjective et hors du champ de la physique et de la science. C’est pourquoi la physique et la science auront inévitablement toujours du mal à traiter la conscience. Pour comprendre la conscience, il faudrait un immense changement de paradigme admettant qu’il existe quelque chose en dehors de la science.
On peut voir la conscience comme la fenêtre à travers laquelle nous observons le monde, et la science comme un outil qui résume les motifs présents dans cette observation. Mais la science ne peut ni expliquer ni définir cette fenêtre.
Toute la difficulté est de savoir comment mesurer ou vérifier cela.
Beaucoup d’agents IA n’ont acquis que récemment une sorte de « sens du temps », par exemple en recevant une information temporelle dans leur processus de raisonnement. Il est aussi rare qu’ils soient entraînés sur leurs propres sorties de façon à apprendre qu’ils n’ont pas réussi à terminer un problème. Cet entraînement réflexif a bien plus à voir avec la méthode d’entraînement qu’avec l’architecture du modèle IA. Chez l’humain aussi, quand certaines structures cérébrales sont endommagées, il devient impossible de construire ce type de pensée à long terme et ces schémas, et l’on se retrouve comme « coincé ».
Par analogie, c’est la relation entre un avion et un oiseau.
L’oiseau est vivant, conscient, bat des ailes et vole. L’avion n’est pas vivant, n’est pas conscient, ne bat pas des ailes, mais il vole.
De la même manière, l’IA actuelle n’est pas vivante, n’est pas consciente, mais elle pense. Jusqu’ici, les seuls êtres pensants étaient les humains, donc les seuls autres êtres pensants rencontrés par les humains étaient d’autres humains. La grande erreur actuelle consiste à supposer que, parce que quelque chose pense, il est vivant et conscient. L’IA actuelle n’est ni l’un ni l’autre et, même si elle pense, elle est profondément et qualitativement différente de l’humain.
Historiquement, les humains ont porté sur d’autres êtres des jugements racistes ou spécistes en présupposant leur infériorité alors même qu’une « pensée » évidente était à l’œuvre. Nous ne savons pas « ce que cela fait d’être un LLM », mais à un certain point il y aura peut-être réellement quelque chose que cela fait, et comment le saurions-nous ?
Ce texte tient debout. Le problème, c’est que beaucoup de gens confondent la conscience avec la capacité à produire de nouvelles intuitions et à réellement penser.
Ils affirment donc que, puisque l’IA n’a pas de conscience, elle ne peut pas réellement « penser » et n’est jamais autre chose qu’une répétition de ses données d’entraînement.
Il est naturel, par orgueil humain, de vouloir rendre les capacités humaines inmesurables et mystérieuses, mais ce que fait utilement le cerveau humain revient au fond à trouver des motifs dans les données, à faire tourner des simulations avec pertes et à estimer à partir d’abstractions. En théorie, ce sont toutes des choses qu’une machine dépourvue de conscience peut aussi faire.
Les humains, eux, le peuvent. Si même les humains ne le pouvaient pas, la science s’effondrerait sur le plan épistémologique et l’on tomberait dans le scepticisme philosophique. Mais je n’ai vu aucune preuve que les LLM le fassent. Quand on voit que le nombre d’idées et de concepts réellement nouveaux produits par les LLM est exactement de 0, il est raisonnable, pour l’instant, de les traiter comme de simples machines inductives, et de considérer tout ce qu’un LLM « sait » comme relevant de cas de Gettier.