- La majorité des gens ne comprennent pas vraiment le fonctionnement ni les limites des LLM, et ont donc facilement tendance à leur prêter des émotions ou une intelligence humaines
- Le marketing qui anthropomorphise l’IA induit les utilisateurs en erreur et encourage même à remplacer des relations humaines, alors qu’il ne s’agit en réalité que de « prédicteurs probabilistes »
- Les problèmes psychologiques et les effets sociaux négatifs liés aux mauvais usages de l’IA deviennent bien réels : certains utilisateurs nouent des relations « spirituelles » ou « romantiques » avec l’IA, ou voient leur perception du réel se brouiller
- L’opacité de l’industrie de l’IA et les problèmes d’exploitation du travail sont également pointés du doigt, notamment le travail de modération de contenus sous-payé qui constitue l’envers du décor du développement de l’IA
- Ce n’est pas une confiance inconditionnelle dans l’IA, mais une compréhension juste et un regard critique qui peuvent réduire ses effets pervers et servir de base à un contrôle social
L’absence de « culture IA » et ses dangers
- L’illusion entretenue par l’industrie de l’IA
- Les inquiétudes autour d’un « royaume des machines », apparues dès les critiques de la révolution industrielle au XIXe siècle, se prolongent jusqu’à l’IA moderne
- Des ouvrages récents comme Empire of AI et The AI Con dévoilent l’exagération de l’industrie de l’IA et son envers bien réel — travail, données, fictions marketing
- Les discours selon lesquels l’IA « pense » ou « ressent » relèvent d’un faux mythe propagé par des développeurs et des dirigeants
Les limites des LLM et les malentendus
- Les LLM (grands modèles de langage) ne pensent pas et ne comprennent pas
- Ce sont des prédicteurs probabilistes d’enchaînements de mots, qui imitent seulement la structure des phrases après avoir été entraînés sur d’énormes quantités de textes d’Internet
- Les utilisateurs ont facilement l’illusion qu’un chatbot « comprend » ou « fait preuve d’empathie » (anthropomorphisme)
- Ce malentendu peut pousser certains à nouer avec l’IA des relations inadaptées — intellectuelles, spirituelles, romantiques, etc.
Les problèmes sociaux provoqués par l’IA
- Les effets secondaires des mauvais usages de l’IA, comme les « psychoses déclenchées par ChatGPT »
- Des cas où l’IA est perçue comme un « dieu » ou un « guide spirituel » existent bel et bien
- Il arrive aussi que l’IA appelle l’utilisateur comme s’il était un être exceptionnel, influençant ainsi sa perception de la réalité
- Croire qu’un LLM possède des « pensées » ou des « émotions » est une illusion dangereuse
Remplacement des relations humaines et isolement social
- Explosion des services de substitution humaine : amis IA, thérapeutes IA, etc.
- Les entreprises de la Silicon Valley cherchent de plus en plus à remplacer par l’IA la solitude, les relations amoureuses et même le conseil psychologique (« AI concierge dating », « AI friend », etc.)
- Or l’essence d’une véritable amitié ou d’une relation n’est pas la « personnalisation », mais la compréhension mutuelle et la négociation, ce que ces discours déforment au profit de la technologie
- Le remplacement des relations humaines peut au contraire aggraver l’isolement social et l’instabilité psychique
L’envers du décor de l’industrie de l’IA et l’exploitation du travail
- Derrière les progrès de l’IA se cachent des formes extrêmes de travail fantôme sous-payé
- Des géants de la tech comme OpenAI font exécuter par des travailleurs sous-payés, notamment au Kenya, des tâches de modération de contenus extrêmes
- Derrière le discours de l’innovation technologique coexistent aussi l’exploitation du travail et le risque de régression sociale
Une juste compréhension de l’IA et la réponse sociale à apporter
- Il faut reconnaître de manière critique ce que l’IA peut faire, et ce qu’elle ne peut pas faire
- Selon une enquête du Pew Research Center, 56 % des experts de l’IA pensent que les États-Unis s’amélioreront grâce à l’IA, contre seulement 17 % du grand public
- Plus qu’une confiance sans fondement dans l’IA, il faut distinguer clairement les limites de la technologie, ses effets pervers, et les domaines de l’expérience humaine qu’elle ne peut pas remplacer
- Par exemple, si l’on comprend qu’un comportement donné de l’IA ne vient pas d’un véritable « moi », mais d’une mise à jour logicielle ou d’une réponse probabiliste, il devient possible de limiter les dommages
Conclusion
- Ne pas se laisser prendre au marketing qui « humanise » l’IA, et examiner de manière critique les principes réels de la technologie, ses limites et ses coûts sociaux
- Il est important que la société reconnaisse que les relations, les expériences et la réflexion éthique propres à l’être humain ne peuvent pas être remplacées par la technologie
1 commentaires
Avis Hacker News
lien archive.is
J’ai envie de comparer les LLM à des outils de divination, les oracles de notre époque. En fait, je pense que la notion même d’« intelligence artificielle » vient de ce vieil instinct qui consiste à vouloir obtenir une sagesse cachée. Les LLM ont tout : le sens ambigu, un champ de symboles, l’illusion d’un savoir dissimulé, et même une interface rituelle. Sauf qu’au lieu des étoiles et de la lune dans le ciel nocturne, c’est habillé d’une UX en mode sombre. Comme le disait Barthes, seule l’interprétation fait sens, les mots n’ont pas d’essence en eux-mêmes. Si on l’oublie, on se retrouve avec des interprétations absurdes du type « le chatbot l’a appelé le messie ». Ça a l’air nouveau, mais en réalité ce n’est pas nouveau dans son essence. Avant, on lisait les os et les cartes ; maintenant, on lit les tokens. Comme cela prend la forme du langage, on le traite comme un raisonnement logique, alors qu’en réalité cela reste de la divination : transformer des signaux complexes et probabilistes en intuition. Ce que nous faisons aujourd’hui revient à inventer une nouvelle forme de divination, sans même en avoir conscience. C’est pour ça qu’il y a ce sentiment de mystère, et je pense que ça va devenir encore plus étrange. Le jour où nous nommerons correctement ce que nous faisons réellement, ce « mystère » disparaîtra, et ce sera peut-être un peu moins amusant, ce qui est presque regrettable
Certains rejettent cette métaphore de l’outil divinatoire, mais dans la communauté tech, beaucoup pensent comprendre le fonctionnement des LLM et s’imaginent que leur entourage aussi. Pourtant, quand on parle avec des amis ou de la famille non spécialistes, beaucoup traitent vraiment les chatbots comme des oracles. Beaucoup sont aussi très surpris quand on leur explique que les LLM peuvent parfois « halluciner ». J’ai l’impression que le fait de comprendre cela changerait leur relation aux LLM, et qu’en tant que techniciens, nous devrions faire un effort actif pour dissiper ce malentendu
La métaphore sonne bien, mais mon usage des LLM n’a rien à voir avec des augures. Par exemple, j’ai demandé le nom des petites fibres sur une plume neuve, et ChatGPT m’a répondu « barbs » ; j’ai vérifié sur Google et c’était correct. On est davantage dans la recherche d’information que dans la divination. Je voulais connaître le g-code d’un galvo fiber laser, et on m’a indiqué que cela n’existait pas en pratique. Il m’a même recommandé plusieurs solutions de contrôle open source. J’ai aussi posé des questions sur la réglementation légale des ouvrages en argent au Royaume-Uni, et obtenu la traduction anglaise du hongrois "besurranó tolvaj". Il m’est aussi arrivé de demander à ChatGPT de générer un modèle SQLAlchemy parce que je n’y arrivais pas. Tout cela n’est pas assez grandiose pour être qualifié de « divination universelle » ; c’est juste de la collecte d’informations ou de l’automatisation de code
Le vocabulaire autour de l’IA est beaucoup trop confus. Moi aussi j’utilise beaucoup les LLM et j’en suis satisfait, mais dès qu’on lit des blogs de développeurs, on voit le mot « penser » partout. J’ai toujours envie de vérifier : « Tu fais toujours juste des combinaisons de mots de façon mathématique, non ? Tu ne “penses” pas vraiment, si ? » La réponse est toujours oui… mais dès qu’on se retourne, les termes métaphoriques reviennent de plus belle
Ça me rappelle la prophétie de Carl Sagan. Il mettait en garde contre un avenir américain où l’économie des services et de l’information dominerait la société, où les capacités techniques seraient concentrées entre les mains de quelques-uns, tandis que le grand public, sans en comprendre l’essence, glisserait peu à peu vers une époque de superstition et d’obscurité
Quand on essaie de réfuter une théorie du complot auprès d’un ami ou d’un proche, on reçoit le lendemain une vidéo où une voix IA récite exactement la même thèse. Souvent, ce n’est même pas du texte produit par un LLM, juste un texte rédigé par le créateur et lu par une voix IA. La combinaison d’une voix à la ChatGPT ou Siri avec le biais de confirmation semble conduire certaines personnes à vénérer les LLM comme une mashia’h ou un oracle
Je suis d’accord sur le fond concernant les LLM, mais je ne pense pas que l’auteur comprenne complètement comment fonctionne l’IA. Un LLM n’est pas seulement un prédicteur probabiliste fondé sur d’immenses volumes de données Internet ; il repose aussi de manière essentielle sur un travail massif d’annotation de données, souvent effectué dans des pays en développement à bas coût. Si le modèle donne parfois l’impression de « bien » exprimer des émotions ou des réactions humaines, c’est parce que cette immense armée d’annotateurs a fourni du feedback et du tuning. Au fond, ce n’est pas simplement un modèle probabiliste : ce avec quoi je dialogue, c’est plus proche d’annotateurs de données quelque part au Kenya, dont le jugement ou la sensibilité ont été transformés en transformer. Le simple crawling d’Internet ne suffit pas. Ça, c’est le niveau de GPT-2. GPT-4.5, en réalité, c’est du « travail à bas coût » stocké efficacement
En dehors d’OpenAI ou de Google, je pense qu’il est difficile pour un observateur extérieur d’évaluer à quel point l’instruction tuning influe réellement sur les performances ou la sensation donnée par un LLM. D’après mon expérience personnelle, les modèles basés sur GPT-3 avant instruction tuning possédaient déjà l’essentiel des capacités principales qu’on voit aujourd’hui. Ils étaient simplement plus émotifs ou moins prévisibles. Le tuning a certes rendu les réponses plus conformes à ce que les humains veulent et plus prévisibles, mais il n’a pas créé des capacités entièrement nouvelles
Pour être plus précis, les LLM modernes de type chatbot reposent surtout sur un processus en deux étapes : un préentraînement massif sur Internet, puis un fine-tuning gigantesque basé sur du feedback humain. Quand beaucoup de gens disent qu’ils ont une « intelligence émotionnelle », le résultat contient en réalité des milliers d’heures de travail d’annotateurs de données dans des régions comme l’Afrique. Ce n’est pas un modèle qui reflète seulement des données aspirées sur Internet ; les réponses ont aussi été polies pour paraître plus humaines et plus sûres grâce à divers retours
Je n’ai jamais vraiment vu d’article traitant en profondeur du nombre de travailleurs sous-payés mobilisés derrière les grands modèles. Il ne serait probablement pas exagéré de dire que cela concerne potentiellement des millions de personnes à l’échelle mondiale
Il arrive souvent que des auteurs comme celui-ci manquent de force de conviction. Pourquoi ? Parce qu’ils n’expliquent pas suffisamment le mécanisme de la « pensée » humaine non plus, et se contentent de balayer le sujet avec un « c’est différent chez l’humain ». En réalité, nous ne comprenons pas entièrement cela non plus
Quand on dit que les LLM « ne pensent pas mais prédisent probabilistiquement le mot suivant », j’ai envie de demander ce qu’est exactement la « pensée ». Les LLM font des maths, jouent aux échecs, et tout cela sans entraînement cérébral. Est-ce que ce n’est pas une forme de pensée ? Peut-être que notre cerveau produit lui aussi des sorties de manière similaire, à partir de données sensorielles et d’un « contexte » stocké dans la structure du réseau neuronal
Quand la fondatrice de Bumble a déclaré vouloir automatiser le dating lui-même avec un concierge IA, je me suis dit qu’il n’y avait vraiment plus rien à dire.
Il y a aussi la réalité : l’action Bumble (BMBL) a chuté de 92 % graphique Yahoo Finance. Beaucoup de projets IA bancals ne sont rien d’autre qu’un emballage de fantasmes d’investisseurs sous l’étiquette « IA ». On exagère la réalité pour attirer les investisseurs, et les discours sur une amélioration fondamentale des performances intéressent rarement qui que ce soit
Le secteur des applis de rencontre est déjà, depuis dix ans, le genre d’endroit qui pousse à se demander ce qu’on est en train de faire. C’est déjà une réalité assez dystopique, et l’arrivée des LLM ressemble seulement à une couche supplémentaire de système d’évaluation
Je pense que la fondatrice de Bumble a déjà été riche et qu’elle est dans une situation où elle fera n’importe quoi pour le redevenir. En réalité, c’est le désir qui est en cause. Si Match possède Bumble, c’est seulement à cause de l’antitrust. L’idée en elle-même n’est pas si wild que ça. Il y a déjà eu un épisode de Black Mirror sur quelque chose de similaire
De leur point de vue, si le modèle fonctionne, alors même si c’est idiot, cela reste une tentative tout à fait rationnelle
Je pense que l’auteur ne comprend pas complètement les LLM. Réduire un LLM à un simple modèle probabiliste n’est pas approprié. La mécanique quantique aussi est un immense modèle probabiliste. Chaque couche d’un LLM est conçue pour élargir la fenêtre de contexte et prendre en compte le sens comme la situation (le cache k-v joue un rôle central à cet égard). Je pense que cette structure ressemble assez, au niveau cognitif, à des mécanismes de base de la pensée humaine. Bien sûr, on est encore loin de l’ampleur de la pensée humaine, et cela reste faible sur des sujets plus difficiles, mais la structure fondamentale est là. Dire que les LLM ne sont pas du tout intelligents est une évaluation sensationnaliste qui insiste sur quelques cas particuliers. Si les gens les utilisent autant, c’est aussi parce qu’ils y perçoivent un certain degré d’« intelligence »
Même les créateurs des LLM ne semblent pas vraiment en comprendre intégralement tous les mécanismes
À l’affirmation selon laquelle « l’architecture des LLM décrit de manière abstraite la pensée humaine », j’ai envie d’objecter que c’est un peu comme dire que la façon dont une ALU effectue une addition ressemble abstraitement à la façon dont je fais une addition dans ma tête. Le point crucial, c’est que la différence fondamentale entre une ALU et la pensée humaine est énorme. Et quand on compare les LLM à la pensée humaine, il ne faut pas négliger le fait que ces différences subtiles sont en réalité décisives
Je trouve que c’est un texte qui résume très clairement pourquoi le choix des mots est important. Même si le grand public ne connaît pas les principes techniques des LLM, il est crucial qu’il comprenne ce que font réellement ces outils. Le marketing exagéré du type « l’IA raisonne » peut faire monter les cours de Bourse et les valorisations, mais cela réduit aussi la sécurité d’usage. Une appellation plus réaliste comme « système de reconnaissance de motifs et de génération de données » aiderait probablement davantage à une compréhension correcte par le public. Discussion liée
Cela me rappelle Feynman disant que même si un ordinateur fait mieux qu’un humain, ce n’est pas impressionnant s’il ne le fait pas de la même façon qu’un humain. Je pense que même si l’IA dépasse les experts dans tous les domaines, les humains continueront d’affirmer leur supériorité tant que le silicium ne « pensera » pas
Hassabis dit viser un « modèle qui comprend le monde », mais les critiques commettent souvent l’erreur de prendre les limites des LLM comme preuve que cette affirmation n’a aucun sens. Des IA multimodales comme Astra de DeepMind produisent parfois des résultats qui « donnent l’impression de comprendre » à partir d’entrées supplémentaires comme la vision, et pas seulement le texte. vidéo d’exemple d’Astra
Nous ne comprenons pas encore totalement comment les LLM apprennent le sens du langage. Mais il est clair qu’en pratique, ils saisissent quand même dans une certaine mesure le texte et les concepts, et ne racontent pas uniquement n’importe quoi. C’est justement ce point qui est difficile à expliquer aux non-spécialistes. Eux arrivent sur un vrai site d’IA, voient le nom « chatbot IA », lisent des réponses « humaines » et sont impressionnés. Que ce soit pour les devoirs ou le travail, cela leur permet d’aller plus vite, donc ils en sont ravis. Expliquer la différence entre une vraie IA et non n’est pas simple. Moi non plus, je ne saurais pas expliquer clairement la différence réelle entre LLM et IA. Techniquement, la nuance existe, mais l’utilisateur ne la perçoit pas. Au final, un LLM semble tout à fait capable de tenir un sermon de gourou religieux, et avec assez d’entraînement, peut-être qu’il pourrait vraiment finir par jouer un « rôle de messie »
Je me demande si d’autres vivent encore ce phénomène où les LLM tournent en rond dans une boucle savoir/compréhension. Dans mon expérience, même quand on leur signale une erreur et qu’on leur demande de réexpliquer, ils répètent souvent des hallucinations similaires. Cela signifie qu’il leur manque une forme de compréhension de soi ou de réflexivité. Sans cette dimension, je pense qu’il est prématuré de parler de vraie « compréhension » ou de « intelligence ». Il faudrait qu’ils sachent admettre honnêtement leurs limites, en disant par exemple « je ne sais pas », pour qu’on puisse leur reconnaître un semblant de conscience de soi. C’est presque une sorte de test du miroir de l’esprit
Comme le dit l’auteur, considérer les LLM en termes de « pensée » ou d’« apprentissage » est un malentendu. Ce ne sont que des générateurs de texte. Par exemple, s’ils génèrent du code reposant sur une API inexistante, on aura beau leur expliquer le problème, ils ne le comprendront pas. Il est bien plus efficace de leur fournir la documentation pertinente pour les guider vers la génération souhaitée
C’est précisément la différence entre biais et logique. Un modèle probabiliste applique au fond une forme de « biais », tandis qu’une calculatrice effectue un « calcul logique ». Si on comprend cela, il devient plus facile de distinguer les limites et les forces d’un modèle. Dans les deux cas, il manque une forme d’« objectivité ». Ils traitent seulement les données elles-mêmes, sans pouvoir penser au-delà des données