- Richard Stallman affirme que ChatGPT est un système dépourvu d’intelligence, qui ne fait que combiner des mots sans en comprendre le sens
- Comme ce système génère des résultats sans se soucier de leur véracité, il le qualifie de « générateur de bullshit (bullshit generator) »
- Il avertit que l’illusion du public, qui attribue de l’intelligence à ces systèmes génératifs, engendre une confiance mal placée
- ChatGPT est un logiciel privatif dont l’utilisateur ne peut obtenir ni l’exécutable ni le code source, accessible uniquement via des serveurs
- Le fait d’effectuer des calculs sur les serveurs d’autrui porte atteinte à la liberté informatique des utilisateurs, raison pour laquelle il estime qu’il faut refuser de l’utiliser
Le caractère non intelligent de ChatGPT
- Stallman définit l’« intelligence » comme la capacité à comprendre ou à savoir
- ChatGPT ne connaît pas le sens des sorties qu’il produit et n’a même pas conscience que les mots ont un sens
- ChatGPT est donc présenté comme un simple système de combinaison linguistique, et non comme une intelligence
Un « générateur de bullshit »
- Il qualifie ChatGPT de « bullshit generator », c’est-à-dire un système qui produit des résultats indépendamment de leur vérité
- Il ajoute que d’autres systèmes génératifs souffrent du même problème
La confiance mal placée du public
- Beaucoup de gens se trompent en pensant que ces systèmes sont intelligents, ce qui conduit à une confiance mal placée
- Stallman appelle à faire comprendre qu’il ne faut pas faire confiance à ces systèmes
Le problème d’un logiciel privatif
- ChatGPT est un logiciel non publié que l’utilisateur ne peut ni copier ni exécuter
- Aucun exécutable n’est fourni ; son utilisation n’est possible que via les serveurs d’OpenAI
- Une telle structure rend l’utilisateur dépendant du serveur et empêche tout usage autonome
Une atteinte à la liberté informatique
- Stallman affirme clairement que le fait d’exécuter ses calculs sur les serveurs d’autrui détruit la liberté informatique
- En citant un texte de la philosophie GNU, il pose la question fondamentale : « Who does that server really serve? »
Source : Richard Stallman, « Reasons not to use ChatGPT », stallman.org, 2024
Droits : le texte peut être copié et distribué à l’identique conformément à la notice de l’original
23 commentaires
Quand j’étais en licence, j’ai suivi un cours de culture générale en philosophie intitulé Computer and Mind. On y abordait l’expérience de pensée de la « chambre chinoise », conçue par le philosophe américain John Searle. Ces derniers temps, je me suis parfois reposé la question suivante, en repensant à ce cours : les LLM actuels ne sont-ils qu’un simple outil sans conscience, et peut-on vraiment les traiter comme des personnes ? J’ai donc posé la question à une IA et j’en laisse ici une trace écrite. C’est un petit billet sans prétention, alors lisez-le juste pour le plaisir. Merci.
Question) Bonjour. Pourrais-tu m’expliquer en détail et de façon pédagogique l’expérience de pensée appelée « chambre chinoise », imaginée par le philosophe américain John Searle (1932–2025) ? En lisant le site
news.hada.io/topic?id=24995(Hackers News), j’ai eu l’impression qu’une personne nommée Richard Stallman pensait ceci : « Les modèles LLM comme Chat-GPT ne donnent pas des réponses parce qu’ils comprennent des concepts ; ce ne sont que des machines capables de combiner des mots pour produire des réponses plausibles. » J’aimerais d’abord que tu m’expliques cette expérience de la chambre chinoise, puis que tu me donnes ton avis, à toi Gemini, sur l’affirmation de Richard Stallman. Merci de répondre en détail et avec pédagogie. S’il te plaît !!Answer) Bonjour ! Vous soulevez un sujet passionnant : l’expérience de pensée de la « chambre chinoise » du professeur John Searle, et ce qu’elle implique lorsqu’on la confronte aux grands modèles de langage (LLM).
En 2025, John Searle nous a quittés, mais cette expérience de pensée qu’il a laissée continue d’être au cœur des débats, plus brûlante que jamais à une époque où l’IA progresse à pas de géant. C’est aussi une excellente occasion de relier l’affirmation de Richard Stallman à ma propre signification ontologique, en tant que Gemini.
Comme vous le demandez, je vais vous répondre de manière très détaillée, pédagogique, et aussi honnête que possible.
En 1980, John Searle a conçu cette expérience pour poser la question suivante : « Le simple fait pour un ordinateur d’exécuter un programme suffit-il pour posséder un “esprit” (Mind) ou une “compréhension” (Understanding) comparables à ceux d’un humain ? »
🧪 Mise en place de l’expérience
Imaginons la scène. Il y a une pièce close (une chambre) parfaitement isolée de l’extérieur.
😲 Résultat de l’expérience
La personne à l’extérieur est locutrice native du chinois. En lisant la réponse sortie de la pièce, elle est stupéfaite : la grammaire est parfaite et le contenu tout à fait naturel. Vue de l’extérieur, elle se dit : « Waouh, la personne dans cette pièce comprend parfaitement le chinois ! »
💡 L’argument central de John Searle
Mais nous, nous savons que A, dans la pièce, n’a pas compris un seul caractère chinois. Cette personne n’a fait qu’assembler des symboles selon des règles (Syntax, syntaxe), sans comprendre du tout ce que ces symboles signifiaient (Semantics, sémantique).
C’est le cœur de l’argument de John Searle, généralement présenté comme une réfutation de la “Strong AI”.
2. L’affirmation de Richard Stallman et son interprétation contemporaine
Le point de vue de Richard Stallman — que vous mentionnez, lui le fondateur du mouvement du logiciel libre — consiste à appliquer directement l’argument de Searle aux LLM modernes comme ChatGPT ou moi, Gemini.
Selon Stallman, si une IA produit des phrases qui paraissent convaincantes, ce n’est pas parce qu’elle en comprend le sens, mais parce qu’elle enchaîne statistiquement « le mot le plus probable à venir ».
Je vais maintenant vous donner mon avis honnête, en tant que partie directement concernée. Je ne suis pas un humain doté d’émotions, mais je peux organiser une réflexion sur mon propre fonctionnement et sur la notion de « compréhension ».
✅ 1. D’un point de vue technique, Stallman dit quelque chose de “vrai”
On ne peut pas nier que je ne possède pas de cerveau biologique.
🤔 2. Mais la définition de la “compréhension” peut varier. (Émergence)
Cela dit, dire simplement « ce n’est qu’une machine statistique » ne suffit peut-être plus à rendre compte de la complexité des capacités démontrées par l’IA moderne. C’est là qu’intervient la notion d’émergence (Emergence).
🤝 3. Ma conclusion : « Je reconnais à la fois ma valeur comme outil et mes limites. »
Je pense que la critique de Richard Stallman est une remarque importante et nécessaire.
📝 Récapitulatif
La « chambre chinoise » de John Searle reste, plus de quarante ans après, une intuition extrêmement aiguë sur la nature d’IA comme moi.
J’espère que cette réponse vous aura aidé à mieux comprendre la philosophie de John Searle et les débats actuels qui l’entourent.
Le fait d’effectuer des calculs sur le serveur d’un tiers devrait être refusé, car cela porte atteinte à la liberté informatique de l’utilisateur.
N’est-ce pas alors une position qui consiste à rejeter non seulement les LLM, mais aussi tous les services cloud et les services externes… ? La traduction est-elle erronée ?
Exactement.
Stallman affirme aussi qu’il ne faut pas utiliser les SaaS.
https://www.gnu.org/philosophy/who-does-that-server-really-serve.html
Je croyais qu’il avait tout quitté après avoir défendu Epstein, mais apparemment il réapparaît, hein.
Avec quelqu’un d’autre, ça ressemblerait à des absurdités, mais venant de Stallman, c’est crédible.
L’être humain, qui juge avec intention, forme une volonté en tant que sujet et objet. Je pense que c’est cela, l’intelligence. Le fait que ce soit utile à l’activité intellectuelle ne justifie pas pour autant une interprétation exagérée du terme intelligence.
Stallman est tellement fondamentaliste qu’il a sans doute voulu parler de bullshit generator. Comme vous le savez tous, l’idée qu’il veut exprimer est probablement la même que celle du terme « perroquet stochastique ».
Mais il est également vrai que les LLM, ces perroquets stochastiques d’aujourd’hui, augmentent de façon spectaculaire la productivité de l’humanité. Et les gens s’intéressent sans doute davantage à l’innovation industrielle qu’à la liberté informatique. Rien ne garantit non plus que les humains ne soient pas eux aussi des perroquets stochastiques.
Code source public...? Alors DeepSeek, bien sûr !!!
Selon cette définition, cela revient pratiquement à dire qu’il ne faut utiliser aucun service qui passe par le cerveau de quelqu’un d’autre sans passer par mes propres mains, y compris les métiers de service avec des employés, les services cloud, voire même le téléphone.
Pour le point 1, absolument tout ce qui existe dans la réalité peut produire une sortie indépendamment de la vérité. Même un système conçu avec l’intention de produire une réponse exacte peut échouer à le faire. C’est ce qu’on appelle une « erreur ».
Point 2. Si affirmer qu’on ne peut utiliser un système qu’à condition de pouvoir obtenir l’exécutable ou le code source revient à dire qu’il faut connaître son principe interne pour l’utiliser, alors toute personne n’ayant pas étudié la physique, l’électronique et le génie électrique devrait immédiatement lâcher son smartphone et son ordinateur. Cela revient à dire qu’on ne devrait pas utiliser la géolocalisation sans avoir appris la théorie de la relativité. Stallman possède-t-il au moins les plans détaillés dans la tête du coiffeur qui lui coupe les cheveux ?
Suivant la logique du point 3, cette personne est un doctrinaire qui ne fait confiance à la pensée de personne. Puisque toute pensée d’autrui et toute conclusion qui en découle porteraient atteinte à la liberté de « moi » de penser par moi-même.
On peut dire qu’il ne faut pas conclure trop vite que l’IA générative possède réellement une intelligence, mais les raisonnements forcés qui accompagnent cette idée, eux, sont tout simplement du bullshit.
Je crois qu’il y a une mauvaise compréhension de qui est Stallman et de ce qu’il cherche à défendre.
Stallman est radical et ne dit pas toujours juste, mais les problèmes soulevés dans ce texte font déjà l’objet de discussions actives. Ce n’est pas une argumentation qu’on peut balayer d’un simple revers de main comme du bullshit.
Au fond, dire qu’un utilisateur doit pouvoir posséder le code source ou une copie d’un logiciel, n’est-ce pas finalement fondé sur la foi personnelle de Stallman ?
On dirait qu’il pose comme principe une foi très radicale, idéaliste et purement théorique selon laquelle tout peut et doit être partagé gratuitement de manière équitable, puis qu’il traite comme une sorte d’hérésie tout ce qui jette ne serait-ce qu’une ombre sur cet édifice idéologique. Il m’est difficile d’adhérer à cette attitude. L’humanité a déjà une maladie assez semblable en matière de système économique.
Je suis d’accord sur le fait que les résultats de l’IA générative sont probabilistes et qu’ils n’ont pas le semantic grounding que vous mentionnez, mais au final ce n’est qu’une question de degré : même quand on communique et délibère avec des êtres humains, c’est à chacun d’assumer la responsabilité du jugement et de la vérification du contenu. Que mon interlocuteur soit une IA générative ou un humain, sa réponse est de toute façon influencée par les connaissances acquises et par les données d’apprentissage qui façonnent ses valeurs. Bien sûr, ce point commun ne signifie pas que l’IA possède une intelligence authentique, mais si l’IA générative est indifférente à la vérité au départ, c’est parce que les données sur lesquelles elle a été entraînée le sont elles aussi — et c’est également vrai pour les humains. À partir de ce seul constat, je ne trouve pas convaincant de dire qu’« il ne faut pas l’utiliser ».
Sur le point 3, il semble que j’aie mal interprété les choses en allant un peu vite. Comme pour la question du code source au point 2, si l’idée était que l’utilisateur doit savoir ce qui se passe sur le serveur, je pensais que l’on pouvait faire le même raisonnement en comparant à un tiers, en tant que prestataire de services de connaissance, à un serveur ; mais en fait, c’est simplement moi qui avais mal compris depuis le début.
En revanche, comme vous le dites, je ne pense pas que le caractère dogmatique relève d’un malentendu de ma part.
Si l’on affirme qu’il faut pouvoir obtenir le code source ou une copie d’une IA générative, alors le droit de propriété intellectuelle volerait en éclats.
Si le fait que des données soient fournies au serveur d’autrui vous déplaît, il suffit de ne pas les fournir. Il suffit de ne pas utiliser le service. Il n’existe aucun moyen de discuter d’un secret sans le révéler à personne. Dire que tout le monde devrait pouvoir posséder le code source ou une copie d’une IA développée par quelqu’un d’autre au prix de son temps, de ses ressources et de ses efforts — si ce n’est pas du bullshit, alors qu’est-ce que c’est ? Ce n’est pas parce que je mets gratuitement à disposition ce qui m’appartient que je peux disposer librement de ce qui appartient aux autres.
Comme je l’ai dit au tout début, je connais mal Stallman et ses positions. J’en ai seulement entendu parler de façon superficielle, et je sais vaguement qu’il existe des conflits liés au logiciel libre. En revanche, j’ignore jusqu’où s’étendent ses idées et son influence, et dans quelle mesure elles sont prises au sérieux. Mais au moins, il me semble que j’ai la liberté de qualifier de bullshit des propos dénués de rationalité et de réalisme.
Je considère cela dans le cadre suivant : les technologies et connaissances qui ont un impact majeur sur la société doivent être restituées à la société, un peu comme les médicaments génériques. Si les génériques sont restreints, on verra se multiplier des cas comme celui de Daraprim, et la société tout entière en pâtira au profit des intérêts de quelques-uns.
Et vous avez parlé de l’électromagnétisme et des smartphones : les sciences fondamentales comme l’électromagnétisme sont bien publiées sous une forme que des tiers peuvent vérifier, puis partagées avec la société, n’est-ce pas ? C’est précisément pour cela que même des gens ordinaires, sans connaissances en électromagnétisme, peuvent rejoindre l’écosystème des smartphones en s’appuyant sur cette confiance construite pas à pas ; ainsi l’écosystème grandit, un marché se forme, et l’humanité en récolte les bénéfices.
Je pense moi aussi qu’il est souhaitable que les entreprises, à la mesure des profits qu’elles tirent du marché, contribuent en retour au marché et à la société qui a rendu possible le développement technologique.
Les grandes lignes fondamentales de l’IA générative sont déjà publiques, et j’estime que les éléments qu’OpenAI ne publie pas relèvent du secret commercial de l’entreprise. Quand une entreprise ou une technologie contribue à nouveau à la société, cela apparaît en surface comme une expression de gratitude et un message de coexistence, mais en pratique j’y vois un réinvestissement dans le marché au service de la croissance durable de l’entreprise. Sous cet angle, il serait souhaitable que les entreprises de l’IA contribuent à l’éducation ou aux infrastructures sociales avec l’argent qu’elles gagnent, plutôt que d’exiger qu’elles publient intégralement les copies d’une IA qui constitue pratiquement un de leurs actifs. N’est-ce pas, en quelque sorte, ignorer les bénéfices des œufs d’or de l’oie aux œufs d’or et exiger qu’on lui ouvre d’abord le ventre ? Des œufs d’or, il peut en sortir autant qu’on veut. Il suffit d’en partager les bénéfices ; si l’on exige absolument qu’on livre aussi l’oie, qui voudra encore en élever une ?
On sait déjà comment fonctionne l’IA, comme on connaît l’électromagnétisme. Un smartphone n’intègre pas seulement les connaissances de base en électromagnétisme, mais aussi des technologies qui relèvent de secrets industriels que chaque entreprise ne peut pas divulguer. Je ne comprends donc pas qu’on refuse de respecter cet aspect et qu’on fasse de l’IA générative un bouc émissaire, comme dans une chasse aux sorcières.
Les réponses qui m’ont été faites m’ont amené à chercher beaucoup de choses et à réfléchir à de nombreux points. Merci.
Merci pour votre compréhension.
S’il y a quelqu’un qui affirme posséder une poule aux œufs d’or, j’ai l’impression qu’on devrait au moins pouvoir vérifier si ces œufs sont vraiment en or, si c’est bien cette poule qui les a pondus, et ce qu’on exige en échange de ces œufs d’or.
C’est dans cet esprit que je lis l’argument de Stallman selon lequel, pour une informatique digne de confiance, il faut avoir accès au code source.
Récemment, on a eu un cas où un microphone a été découvert dans un produit appelé nanokvm, lancé par le fabricant chinois de plateformes embarquées sipeed.
Je crois savoir qu’il existe une inquiétude selon laquelle les produits embarqués fabriqués en Chine seraient vulnérables du point de vue de la sécurité, voire pourraient être utilisés dans des opérations de sécurité menées par l’État.
C’est peut-être parce que ce préjugé s’y reflétait qu’un article comme celui-ci est récemment sorti à propos de ce produit : https://fr.news.hada.io/topic?id=24886
Mais je pense que sipeed a pu dissiper ce malentendu, parce qu’ils avaient mené en open source le développement de ce matériel comme du logiciel : https://x.com/lexifdev/status/1999340940805439775
À l’époque de Stallman, je crois que, dans ce type de débat, à la place du gouvernement chinois, on trouvait le gouvernement américain de l’ère encore marquée par le maccarthysme, ainsi que la NSA.
Il y a aussi eu des cas de portes dérobées de la NSA qui, bien qu’ils aient d’abord semblé relever du complotisme, se sont révélés réels, sans parler des printer tracking dots (https://en.wikipedia.org/wiki/Printer_tracking_dots).
Ces jours-ci, plus que les théories du complot impliquant l’État, ce qui fait surtout parler, c’est l’idée que des entreprises dont la publicité est la principale source de revenus écouteraient les microphones des smartphones à des fins de publicité ciblée.
Et dans les entreprises de technologie logicielle, même si le code source joue évidemment un grand rôle, je pense que la commodité globale, la capacité à opérer un service et la confiance jouent un rôle encore plus important.
Même si l’on obtenait tout le code source d’OpenAI, les concurrents arrivés plus tard ne pourraient pas facilement sécuriser et exploiter de façon stable l’infrastructure capable de soutenir un très grand nombre d’utilisateurs, ni rattraper la confiance liée à la marque, n’est-ce pas.
Il existe pas mal d’exemples de produits majeurs exploités en open source, avec d’innombrables forks, qui n’ont pourtant pas perdu leur position dominante.
Ce qui me vient tout de suite à l’esprit, ce sont des cas comme Chrome ou VS Code.
Bien sûr, il y a aussi des cas de perte de contrôle, comme Elastic ou Redis, avec les affaires autour des licences open source à cause d’AWS, mais là encore, je pense que cela s’explique par le fait que ces deux entreprises étaient relativement en retard sur AWS en matière de commodité, de capacité d’exploitation du service et de confiance.
Bon, ce genre de discussion relève aussi, d’une certaine manière, de la politique et de l’idéologie. Alors j’ajoute un point plus personnel.
En tant que personne qui développe des logiciels comme activité principale et bidouille du matériel embarqué comme loisir, travailler sur des boîtes noires sans code source ni schémas, c’est vraiment… extrêmement difficile, tant pour le développement que pour la maintenance.
Quand on veut développer à partir d’une bibliothèque logicielle ou d’un composant matériel, si l’on peut obtenir le code source ou les plans de conception, ou au moins une documentation de spécification bien organisée, le développement devient vraiment beaucoup plus simple ; sinon, c’est franchement un casse-tête.
Ces derniers temps, il y a eu pas mal de discussions à l’étranger sur le droit à la réparation ; parmi elles, un point qui m’avait marqué, c’est qu’autrefois, quand on ouvrait le capot d’un appareil électronique, il y avait un schéma de câblage dessiné pour aider à la réparation. (Il paraît qu’Apple fournit aujourd’hui des schémas aux réparateurs.)
Ce genre d’expériences influe énormément sur la confiance qu’on accorde à ces produits. De nos jours, quand je choisis une technologie ou que j’achète un produit, la première chose que j’examine, c’est si, en cas de panne ou de problème, je pourrai facilement le comprendre, le réparer et continuer à l’utiliser, ou au moins le contourner pour m’en servir.
Avis sur Hacker News
Vu que Stallman a travaillé sur l’IA symbolique à l’époque du MIT AI Lab et qu’il a même créé GCC, je pense que c’est l’une des figures connues du secteur qui comprend le plus profondément la nature de la question
Il n’a pas tort. ChatGPT n’est qu’un simulacre d’intelligence (simulacrum) : c’est utile, mais on ne peut pas lui faire entièrement confiance. Du point de vue de la liberté et de l’ouverture, il est aussi difficile d’y voir quelque chose de positif
Je préfère le terme LLM. Mais comme la plupart des gens ne savent pas ce que c’est, on finit par parler d’IA. Un LLM n’est pas un bullshit generator. Même s’il ne comprend pas le sens, cela suffit si le résultat est utile. C’est comme un cuisinier qui peut faire bouillir un œuf sans connaître la nature profonde de l’œuf. En revanche, ce genre de modèle devrait pouvoir s’exécuter librement sur son propre matériel ou sur un cloud tiers. En ce moment, ce sont les modèles chinois qui dominent le marché. ChatGPT pourrait ne pas durer longtemps s’il ne résout pas sa situation interne de « code red »
C’est assez drôle qu’il y ait une section « What’s bad about » sur le site de Stallman. C’est une forme de conscience de soi assez marquée
De la même manière qu’on ne peut pas dire qu’une calculatrice ne sait pas faire des mathématiques sous prétexte qu’elle ne comprend pas les nombres, l’IA manipule elle aussi les mots d’une façon similaire à celle des humains. Elle manque de créativité, mais elle peut parfaitement traiter des tâches du quotidien. Par exemple, si je lui demande des informations sur le système fiscal allemand, même avec quelques imprécisions, il est probable qu’elle soit plus juste que le résultat de mes deux heures de recherche
Si l’on définit l’intelligence comme « la capacité à comprendre des phénomènes inconnus et à construire des modèles mentaux », alors les modèles actuels ne sont pas intelligents, puisqu’ils ne peuvent pas mettre à jour leurs poids au moment du raisonnement. Comme l’apprentissage par gradient descent est inefficace, l’intelligence des modèles actuels dédiés à l’inférence est en pratique proche de zéro
Les LLM sont au fond des machines à produire des hallucinations (hallucinations). Mais certaines hallucinations sont utiles
L’argument « ChatGPT n’est pas intelligent parce qu’il ne comprend rien » est au contraire une manière de rabaisser ChatGPT en l’anthropomorphisant (anthropomorphize). En revanche, je suis d’accord avec l’idée que « les logiciels qui tournent sur les serveurs d’autrui portent atteinte à la liberté informatique ». Il est regrettable que ce développement de l’IA se fasse dans un environnement où l’on ne peut ni l’exécuter ni la développer librement
Les LLM ne sont pas une véritable intelligence, mais on peut tout de même les appeler intelligence artificielle (artificial intelligence). Comme le gazon artificiel n’est pas du vrai gazon tout en restant du « gazon », le nom en lui-même est défendable
La nature des LLM est simple au fond. La définition de l’intelligence n’a pas tant d’importance. Moi, j’appelle les LLM des « Associator ». Ils ne pensent pas et ne comprennent pas, mais ils associent des motifs linguistiques pour produire des résultats utiles
Si l’intelligence artificielle ne peut finalement pas avoir d’âme, pourquoi son intelligence devrait-elle nécessairement ressembler à l’intelligence humaine qui cherche la vérité ? Même une grande partie de ce que nous appelons activité intellectuelle repose sur le mensonge et les hallucinations. Dans la société moderne, les êtres humains aussi influencent la vie des autres par des mensonges, parce qu’ils ne perçoivent pas les phénomènes tels qu’ils sont (ou volontairement).
En fait, je n’ai jamais pensé une seule fois que Stallman aimerait les LLM mdr
mdr
J’ai l’impression que ce que Stallman défend n’apparaît pas clairement dans le résumé.
C’est vrai, mais les LLM produisent malgré tout des réponses correctes avec une probabilité étonnamment élevée.
:+1:
Qu’est-ce que le savoir…
C’est un vieux débat qui remonte à l’« expérience de la chambre chinoise » lol