Nous avons automatisé le « bullshit »

 (cst.cam.ac.uk)
1 points par GN⁺ 2023-11-18 | 1 commentaires | Partager sur WhatsApp
  • Les IA génératives comme ChatGPT fonctionnent en prédisant et en imitant de façon plausible des textes d’Internet plutôt qu’en vérifiant la logique ou les faits, d’où la critique selon laquelle elles relèvent de l’automatisation du bullshit
  • Le résumé de Rodney Brooks — « inventer quelque chose qui semble plausible » — rejoint l’article stochastic parrots d’Emily Bender et Timnit Gebru, ainsi que l’analyse des grands modèles de langage par Murray Shanahan
  • Dans la définition de Harry Frankfurt, le bullshit n’est pas un propos qui contredit la vérité comme le mensonge, mais un discours indifférent à la vérité, ce qui le relie aux sorties de ChatGPT
  • Geoff Hinton situe le danger des chatbots moins dans la superintelligence que dans leur capacité à produire en masse des textes convaincants sans intelligence, et s’inquiète de l’automatisation de la persuasion politique
  • Ce que l’IA pourrait remplacer facilement, ce ne sont peut-être pas les tâches utiles, mais des Bullshit Jobs comme les rapports inutiles, la transmission de messages ou le traitement de réclamations ; la régulation devrait donc se concentrer sur la production et la diffusion du bullshit plutôt que sur l’IA elle-même

Pourquoi ChatGPT ressemble à un générateur de bullshit

  • ChatGPT repose sur des algorithmes qui imitent les motifs textuels trouvés sur Internet, plutôt que de vérifier la logique ou les faits
  • Rodney Brooks résume ChatGPT comme un système qui « invente simplement quelque chose qui semble plausible »
    • La « plausibilité » est liée à des algorithmes qui imitent les textes d’Internet
    • Le fait d’« inventer » renvoie à sa dépendance à l’aléatoire du texte prédit plutôt qu’à la logique ou aux faits
  • L’article stochastic parrots d’Emily Bender, Timnit Gebru et leurs collègues, ainsi que les discussions de Murray Shanahan sur les grands modèles de langage, traitent aussi plus techniquement de ce même principe de prédiction de texte

La définition de Frankfurt : un discours indifférent à la vérité

  • Dans On Bullshit de Harry Frankfurt, le bullshitter ne rejette pas l’autorité de la vérité comme le menteur, mais ne prête absolument aucune attention à la vérité
  • Cette définition rejoint les analyses de Brooks, Bender, Shanahan et Hinton sur le fonctionnement de ChatGPT
  • Frankfurt considère le bullshit comme un ennemi plus grand de la vérité que le mensonge
    • Le mensonge présuppose au moins un rapport à la vérité
    • Le bullshit devient difficile à éviter quand quelqu’un doit parler même sans savoir ce qu’il dit

Le risque politique créé par des textes convaincants

  • Geoff Hinton voit le principal danger des chatbots moins dans la superintelligence elle-même que dans leur capacité à produire des textes très convaincants sans intelligence
  • Cette inquiétude est liée aux formes de persuasion politique associées à Donald Trump et Boris Johnson
  • Dans un monde où les preuves et la logique ne sont pas respectées dans le débat public, un système qui fonctionne sans preuve ni logique peut imiter et remplacer de mauvais dirigeants politiques avec des textes d’une persuasion surhumaine

Bullshit Jobs et automatisation par l’IA

  • Bullshit Jobs de David Graeber fait écho au futur de l’IA où « personne n’aura besoin de travailler » évoqué par Elon Musk auprès du Premier ministre britannique
  • Graeber analyse que plus de 30 % des travailleurs britanniques pensent que leur travail n’apporte aucune valeur à la société
  • Ces emplois incluent la rédaction de rapports inutiles, la transmission de messages entre personnes et l’écoute de plaintes impossibles à résoudre
    • ChatGPT peut accomplir facilement toutes les composantes de ces tâches
  • Une partie de l’enseignement supérieur peut entraîner les jeunes à se soumettre aux procédures bureaucratiques et à produire de longs textes que presque personne ne lira
  • Dans un système éducatif qui produit des personnalités comme Boris Johnson, la fluidité verbale et les arguments amusants peuvent être davantage récompensés qu’une attention minutieuse à la vérité

Données d’entraînement et priorité de la régulation

  • Les systèmes d’IA comme ChatGPT sont entraînés sur d’immenses archives de bullshit comme Twitter, Facebook et Reddit, ainsi que sur des sources mêlées de faits réels, comme Wikipedia et les textes d’auteurs professionnels
  • ChatGPT ne contient aucun algorithme permettant de vérifier quelles parties sont vraies
  • De même que Twitter encourage le bullshit de responsables politiques indifférents au vrai et au faux, les traces qu’ils laissent peuvent servir à entraîner des générateurs automatiques de bullshit
  • Ce qu’il faut réguler, ce n’est pas l’IA elle-même, mais le bullshit
  • Pour distinguer les tâches utiles de celles dont on pourrait volontiers se passer, il faudrait une conférence sur le bullshit plutôt qu’un sommet sur l’IA

Pour aller plus loin

À lire aussi

1 commentaires

 
GN⁺ 2023-11-18
Commentaires sur Hacker News

  • Je pense que cet article a raison à bien des égards. Les LLM semblent fonctionner selon le principe « est-ce que ça passera pour une bonne réponse ? », plutôt que « puisque ça fonctionne comme ceci, la réponse raisonnable à la question est celle-là ».
    Cela dit, il faut aussi reconnaître qu’à certains moments les LLM produisent réellement de bonnes réponses. Comme lorsqu’on demande un bout de code et qu’il tombe juste : une réponse qui passe le test à l’odeur peut être bonne par hasard, mais cela reste une bonne réponse.
    Le point essentiel, c’est que pour savoir si le LLM a vu juste, il faut déjà savoir ce qu’on fait. Si, n’étant pas historien, je demande à cGPT une dissertation sur les causes de la Première Guerre mondiale, cela sonnera plausible, mais je ne saurai pas si elle traite ce qu’un véritable historien jugerait important. Il fournit simplement une réponse ordinaire, que quelqu’un ayant un peu lu sur le sujet pourrait considérer comme correcte.
    La plupart des gens ne sont experts que dans un seul domaine ; je n’ai donc aucun moyen d’empêcher un LLM de me tromper dans tous les domaines que je ne connais pas. Il faut donc être prudent quand on l’utilise en dehors de son champ d’expertise.
    À ce stade, je vois les LLM comme des outils de raccourci pour experts. Je peux dire si un bout de code dans mon domaine est correct ou non, mais quelqu’un qui ne travaille pas dans ce domaine peut se faire avoir.

    • Le nom donne peut-être un indice. Ce sont des modèles de langage, pas des modèles de connaissance.
      Les LLM excellent à produire quelque chose qui ressemble à un langage cohérent. Par exemple, les parties du discours se retrouvent aux endroits attendus dans une phrase. Le problème, c’est que la modélisation du langage et la modélisation des connaissances sont très étroitement liées, si bien que les gens prennent la part de modélisation des connaissances qui apparaît par hasard pour quelque chose de plus profond.
    • Si un algorithme trie correctement une liste dans 50 % des cas, on pourrait s’émerveiller qu’il fasse mieux que le hasard. Par exemple, la probabilité de trier correctement 10 éléments au hasard est de 1 sur 3,6 millions.
      Mais, par convention, la valeur d’un algorithme de tri à 50 % n’est pas 50 % de celle d’un tri qui fonctionne correctement : elle est de zéro. Un tri fait généralement partie d’un système plus vaste, et ce système a besoin que le tri fonctionne à 100 %.
      Pendant longtemps, certaines techniques de « machine learning » étaient considérées comme réussies si elles donnaient juste dans 80 % des cas. Ce qui est intéressant avec les LLM, c’est qu’ils peuvent relever la barre à 90 % pour certains problèmes de machine learning, tout en l’abaissant pour d’autres tâches qui pouvaient auparavant être traitées à 100 % par algorithme.
    • Il existe déjà beaucoup de procédures algorithmiques qui assistent les humains, et inversement des procédures humaines qui assistent les algorithmes ; elles donnent généralement de meilleurs résultats que l’un ou l’autre pris isolément.
      J’ai lu autrefois le résumé d’une étude qui comparait les performances de personnes pouvant utiliser un logiciel d’échecs à celles de personnes qui n’y avaient pas accès. Le facteur prédictif de réussite le plus fort n’était pas le niveau pur aux échecs, mais la capacité à exploiter efficacement le logiciel.
      Un autre domaine où je ne connais pas bien la recherche publiée, mais où les preuves anecdotiques abondent, est le trading algorithmique. Les sociétés qui réussissent ont presque toujours des humains qui surveillent le fonctionnement des algorithmes. Quand l’algorithme se comporte bizarrement ou que les conditions ne sont pas réunies, un humain peut s’en apercevoir et ajuster les paramètres, voire l’éteindre complètement s’il semble avoir totalement déraillé. Honnêtement, une bonne partie de cette supervision est probablement une conséquence de l’affaire Knight Capital.
      L’idée, c’est que je suis d’accord pour dire que les LLM sont, aujourd’hui, des outils destinés aux personnes qui ont de l’expérience dans le domaine concerné, mais que cela reste une avancée assez importante. Tout comme les meilleurs hedge funds quantitatifs surpassent régulièrement les fonds gérés par des humains, les personnes intelligentes qui savent bien exploiter cet outil prendront de l’avance. L’essentiel est d’apprendre ce dans quoi il est bon, ce dans quoi il ne l’est pas, et comment vérifier ses sorties.
    • À mon avis, les LLM n’ont pas beaucoup de valeur pour moi. Je suis déjà expert, et écrire du code n’est plus vraiment difficile.
      Quand j’ai besoin de connaissances, les chercher moi-même est plus rapide que de discuter avec un ordinateur. La vraie expertise inclut aussi la capacité à maîtriser et à simplifier ce processus de recherche.
    • L’exemple « il tombe juste quand on lui demande un bout de code » concerne le plus souvent du code de base qui a de fortes chances de déjà figurer dans les données d’entraînement. Dans ce cas, le modèle de langage ressemble à un système expert, mais avec un taux d’échec pire.
      En revanche, il a du mal à produire quelque chose qu’il n’a jamais vu, ou qui n’est pas une variation proche de ce qu’il a déjà vu.

  • Si c’est vrai, je me demande pourquoi il ne m’a fallu que 10 secondes hier avec ChatGPT 3.5 pour trouver un fait extrêmement obscure de l’histoire du XVIIIe siècle. Une recherche Google avait échoué même après plus d’une heure.
    ChatGPT m’a d’abord donné une mauvaise réponse parce que ma question n’était pas assez précise, mais après quelques clarifications il a fourni une réponse qui semblait correcte, et après 1 à 2 minutes de recherches et de vérification supplémentaires, j’étais sûr à 100 % qu’elle l’était vraiment.
    L’affirmation selon laquelle « les systèmes d’IA comme ChatGPT s’entraînent à la fois sur d’immenses dépôts de foutaises comme Twitter, Facebook et Reddit, et sur des faits réels comme Wikipedia ou des textes aspirés chez des auteurs professionnels, mais n’ont aucun algorithme pour vérifier quelles parties sont vraies. Leur sortie est littéralement de la foutaise » me paraît aussi étrange.
    Les philosophes, mathématiciens, scientifiques et romanciers apprennent eux aussi à partir d’un mélange de faits réels et d’immenses dépôts de foutaises. Il y a les travaux établis des autres, l’école, les expériences, mais aussi l’expérience quotidienne qui ne relève pas de la science, les bavardages comparables aux conversations sur Twitter, la propagande et les mensonges. Dans ce cas, leurs productions aussi seraient de la foutaise, et par extension tout ce que l’humanité a créé le serait également.

    • Que se serait-il passé si tu n’en avais pas su assez pour voir que la première réponse était fausse ? Beaucoup de gens poseront exactement ce genre de questions.
      Ils peuvent ne pas savoir qu’il faut ajuster la question et faire des recherches supplémentaires. Si l’on veut utiliser GPT dans un système automatisé, comment ce système pourra-t-il reconnaître ce qui est faux et ce qui est juste ?
    • L’effet selon lequel ChatGPT semble meilleur que Google pour faire des recherches Google est bien réel, mais je me demande si ce n’est pas surtout dû à la dégradation de la qualité de Google Search au cours des dix dernières années.
      Le fait que ChatGPT et les modèles similaires soient particulièrement forts pour ce type de tâche, c’est-à-dire pour remplacer Google Search, ne me paraît pas très controversé.
    • On dirait que tout est déjà dit dans « ChatGPT m’a d’abord donné une mauvaise réponse ». Il n’a pas dit que la question n’avait pas de sens ou qu’elle était fausse ; il a simplement inventé une réponse bidon mais plausible.
    • Parce que ce qui semble plausible est parfois effectivement utile. L’auteur ignore ce fait, mais quiconque utilise ChatGPT sait que la vérification fait partie du processus.
      L’évaluation finale consiste à savoir s’il coûte moins cher de dénicher directement l’information, ou de réduire l’espace de recherche avec l’IA. À condition de vérifier, je pense que c’est la seconde option.
    • Ce qui sonne vrai et ce qui est vrai sont vaguement corrélés.
      À l’inverse, dans Wyrd Sisters de Terry Pratchett, on trouve cette phrase : « Les choses qui essaient de ressembler à des choses ressemblent souvent davantage à des choses que les choses elles-mêmes. C’est bien connu. Mais je n’aime pas encourager ça. »
      Les LLM valent donc bien mieux que ce qu’en disent les critiques qui les réduisent à de la foutaise ou à des perroquets stochastiques, tout en restant moins bons qu’un expert du domaine.

  • Je pense que les LLM nous ont montré que nous avons au moins deux modes de pensée.
    L’un ressemble au fonctionnement des LLM et consiste fondamentalement à prédire le prochain token. Pensez à l’état mental dans lequel on se trouve quand on est profondément plongé dans une conversation. Ce n’est pas vraiment un acte conscient, et il arrive qu’on se surprenne soi-même. Si l’on est un enfant, ou dans un état infantile, on peut inventer n’importe quoi sur le moment sans même s’en rendre compte.
    Maintenant, pensez à une fois où vous avez dû résoudre un problème vraiment difficile : c’est différent. C’est un acte très conscient, on déplace son attention dans tous les sens et on raisonne sur la façon dont tout s’emboîte, sur ce qu’il faudrait changer pour résoudre le problème. Il est même très probable qu’on n’utilise pas le langage pour modéliser le problème dans sa tête.
    Les LLM font la première chose, et même à ce stade précoce, ils le font très bien. Ce qui est étonnant, c’est jusqu’où cette seule méthode peut aller. En mode conversation, avec un niveau de connaissances surhumain, on peut effectivement résoudre des problèmes assez difficiles.
    Cela me semble aussi correspondre à notre expérience. Dans un domaine que l’on connaît en profondeur, on se surprend parfois à résoudre un problème simplement en construisant des phrases.

    • J’aime bien la comparaison entre la sortie des LLM et un flux de pensée conversationnel. C’est un état où les mots sortent spontanément et où des éléments inventés peuvent se glisser. C’est différent du fait de confronter des affirmations à une structure de connaissances.
      Les structures de connaissances que nous construisons sont symboliques. Les symboles représentent des abstractions, c’est-à-dire des classes, et incluent aussi les relations entre symboles. La créativité humaine consiste à créer de nouveaux symboles, ou de nouvelles relations entre symboles existants, à partir de nouvelles entrées perceptives ; c’est un processus d’abduction. Ces structures de connaissances sont puissantes, car elles permettent de construire une immense tour sur des fondations solides.
      Dire qu’on peut résoudre un problème en produisant seulement des phrases sur un sujet qu’on connaît en profondeur signifie que ce sujet est suffisamment clair pour que le flux de pensée s’aligne sur la structure de connaissances. Autrement dit, cela signifie qu’on comprend vraiment. Mais d’après mon expérience, très peu de gens restent dans leur domaine de compétence, et la plupart parlent aussi de sujets pour lesquels ils n’ont pas de structure de connaissances. Il est également rare d’avoir la conscience de soi nécessaire pour savoir sur quoi l’on possède réellement une structure de connaissances, autrement dit pour savoir ce que l’on ignore.
    • C’est l’idée abordée par Daniel Kahneman dans Thinking, Fast and Slow. Les LLM ressemblent surtout au Système 1, l’ensemble d’heuristiques intuitives qui nous fait traverser la majeure partie de la journée, par opposition au Système 2, la pensée algorithmique rigoureuse que l’on réserve aux situations difficiles.
    • Résoudre un problème en construisant des phrases sur quelque chose que l’on connaît en profondeur, n’est-ce pas justement du débogage au canard en plastique ?
      Pour le meilleur ou pour le pire, un LLM est un canard en plastique qui répond.
    • En lisant « ce qui est étonnant, c’est jusqu’où cette seule méthode peut aller », je repense à l’étude qui avait déclenché à l’époque le mème des NPC.
      L’interprétation courante était que la plupart des gens ne pensent qu’avec le premier mode.

  • J’en ai assez de ce genre d’interprétation. Les LLM sont bien des perroquets, mais des perroquets qui imitent le langage humain, et le langage humain semble encoder notre capacité de raisonnement dans sa structure. Donc, si l’on imite assez bien le langage, on commence aussi à imiter la capacité de raisonnement
    Il me semble qu’il faudrait désormais dépasser le fait que les LLM n’ont pas une mémoire très exacte. Ce problème se résout en grande partie, sinon entièrement, en mettant dans le prompt lui-même les informations que l’on veut interroger, comme avec Bing. ChatGPT est bien meilleur en synthèse qu’en rappel exact de faits
    Et, dans la plupart des cas, ce n’est pas important. Quand on utilise ChatGPT pour apprendre quelque chose ou résoudre un problème, c’est un point de départ, pas un point d’arrivée. Si tout le monde comprend cela, il n’y a pas de problème. Je n’ai encore vu personne traiter ses sorties comme des faits à 100 %, et les entreprises d’IA ne le prétendent pas non plus

    • Tout le monde ne le comprend pas, donc il y a un problème
      Les gens qui traitent ses sorties comme des faits à 100 % existent bel et bien
      https://www.nytimes.com/2023/06/08/nyregion/lawyer-chatgpt-s...
    • Imiter une capacité de raisonnement n’est pas la même chose que posséder réellement cette capacité, ni que la développer
    • Exact. Les gens traitent ChatGPT comme Google Search et s’attendent à ce qu’il produise des faits. En réalité, c’est plus proche d’une calculatrice à mots
      Si vous mettez n’importe quoi dans une calculatrice, elle sortira n’importe quoi. Dans beaucoup de cas, il faut fournir les faits en entrée. Des choses comme le RAG automatisent cela
      C’est pourquoi ChatGPT semble s’étendre fortement du côté du RAG : cela correspond mieux à la façon dont les utilisateurs s’attendent à ce que cet outil fonctionne

  • Les gens qui pensent que le monde fonctionne avec des faits ont du mal à comprendre les LLM. La façon de trouver une solution à un problème avec ChatGPT est la même qu’avec un humain : on la trouve par la conversation
    Personnellement, ChatGPT a transformé mon workflow. Il peut me sortir du code qui fait ce que je veux, et il m’aide aussi à cadrer un problème sous une forme où il peut réellement être résolu

    • C’est aussi excellent comme rubber duck. Cela dit, je n’ai pas envie de remettre ma propriété intellectuelle directement à Altman, donc pour cet usage un LLM local serait sans doute préférable
      Jusqu’ici, les modèles yi sont plutôt corrects, et deux nouveaux modèles meilleurs devraient sortir dans les deux semaines. Cette tendance va continuer jusqu’à ce qu’Altman trouve quel politicien il doit soudoyer le plus lourdement
    • Les humains avec qui je travaille ont appris auprès de personnes qui avancent des faits étayés par des preuves empiriques
      ChatGPT, lui, a été entraîné sur Reddit et Twitter

  • L’auteur semble passer à côté de pas mal de nuances. Oui, il invente parfois des bêtises, mais ce n’est pas souvent le cas, et il peut faire gagner énormément de temps. Bien sûr, il arrive aussi qu’il vous entraîne sur une mauvaise piste ou donne une réponse complètement fausse
    La manière de gérer cela dépend de l’utilisateur. On peut essayer d’exploiter le résultat fourni, ou mettre en place des outils permettant de le vérifier facilement pour gagner en productivité, ou bien mettre la tête dans le sable et dire que tout est faux et qu’on s’en moque
    Les deux approches sont valables

    • C’est plutôt vous qui semblez manquer la nuance de l’auteur. Le “bullshit” n’est pas synonyme de “fausse information” : cela désigne quelque chose qui est produit sans égard pour la vérité
      L’IA ne produit pas “parfois du bullshit”, elle en produit tout le temps. Si sa sortie est parfois exacte, c’est parce que le corpus initial était exact. Mais pour l’IA, comme pour un démagogue, cela n’a aucune importance : il suffit que cela ait l’air plausible
      Si vérifier ce que l’IA dit est “facile”, alors il devrait aussi être “facile” d’apprendre à l’IA à vérifier avant de parler, et la critique selon laquelle l’IA est une machine à bullshit serait automatiquement réfutée. La vraie menace est que l’IA peut produire du bullshit difficile à vérifier, et le faire à une vitesse qui ferait rougir un spécialiste du Gish gallop
    • Cela donne fortement l’impression de dire : « La conduite en état d’ivresse tue des gens, mais elle aide aussi à arriver à l’heure au travail, donc on ne peut pas dire si c’est bien ou mal »
    • Je ne pense pas que l’auteur discute de l’exactitude générale des sorties de ChatGPT. Il parle plutôt de sa capacité à produire automatiquement du contenu qui joue le rôle du bullshit
      Dans le contexte d’une économie du bullshit, par exemple avec des bureaucrates qui rédigent des rapports que personne ne lit, et qui les rédigent pour gonfler le nombre de managers et donc augmenter leurs salaires, cela suffit déjà
      C’est une autre question que les cas où l’utilisateur examine la sortie et choisit ce qui est utile avec un jugement d’expert, ou affine l’utilisation d’outils via des appels API au lieu de saisir naïvement du texte dans une GUI de base
    • Le problème, c’est que le travail nécessaire pour vérifier l’exactitude peut être presque le même que celui nécessaire pour obtenir directement la réponse au départ. Dans ce cas, où est le gain ?
    • Vous ne savez pas qu’au XXIe siècle, c’est le manque de nuance qui augmente l’engagement sur les posts ? Ce n’est pas un bug, c’est une feature. Et franchement, c’est vraiment épuisant

  • Ne pourrait-on pas dire que “le langage est un générateur de bullshit” ? La majeure partie du langage auquel nous sommes confrontés, qu’il soit produit par des humains ou des machines, est très suspecte : cette armée mobile de métaphores, métonymies et anthropomorphismes dont parlait Nietzsche
    C’est aussi ce qui a fait le succès du langage. Il est indépendant de la contrainte d’être “vrai”. Les LLM exploitent cette propriété à leur avantage, mais ils n’en sont pas l’origine

  • J’avais exactement la même opinion que cet article il y a quelques mois, mais maintenant je n’en suis vraiment plus sûr
    Du code qui s’exécute et fonctionne, c’est-à-dire du code qui fait réellement ce qu’on a demandé, n’est pas du tout du “bullshit”
    Une recherche incluant des références aux sources pertinentes d’un corpus donné, c’est-à-dire le RAG, n’est pas non plus du bullshit
    Donc l’IA est bien, à bien des égards, une génératrice de bullshit, mais nous aussi, et on peut aussi l’utiliser de façons utiles et non bullshit

    • Pour me faire l’avocat du diable : en review de PR, n’avez-vous jamais dit “oui, ça fonctionne et le ticket est terminé, mais il ne faut vraiment pas faire comme ça” ?
      Dans un monde où l’optimisation compte, il y a un écart assez important entre ce qui fonctionne et ce qui est correct. Pas toujours, mais à strictement parler il ne faut pas seulement raisonner de manière algorithmique : il faut aussi optimiser la réutilisabilité, la testabilité, etc., et le code généré par GPT peut passer à côté de ces aspects

  • Il y avait une bonne vidéo d’un YouTubeur français sur ce sujet il y a 9 mois : https://youtu.be/JcFRbecX6bk?feature=shared
    En français, il existe le mot baratineur, qui me semble plus exact. Il désigne quelqu’un qui vous dit ce que vous voulez entendre, indépendamment de toute notion de vrai ou de faux

  • On gagnerait beaucoup de temps si tout le monde se souvenait réellement que les LLM sont conçus pour produire des sorties plausibles. Un LLM ne « sait » rien, ne « raisonne » pas, ne « pense » pas et n’a pas d’opinion. Il prend simplement quelque chose comme un préfixe de texte ou une graine, puis génère une sortie à partir de ce sur quoi il a été entraîné, c’est-à-dire des choses réellement produites par des humains
    Vu comme ça, tout devient assez clair
    Faut-il croire la réponse ? Bien sûr que non. Il a simplement généré quelque chose
    Peut-on s’en servir pour du brainstorming ? Bien sûr. On peut examiner la sortie, en retenir des éléments ou s’en inspirer
    Peut-on s’en servir pour générer du code utile ? Bien sûr. Mais il faut lire le code et le faire vérifier par des outils et par des humains pour s’assurer qu’il se comporte comme prévu
    Faut-il remplacer des employés par ça ? Bien sûr que non. Un générateur de suffixes de texte ne peut pas gérer des problèmes complexes ni assumer la responsabilité de décisions

    • Encore une fois, on brandit « ça ne fait que prédire le prochain token » comme s’il s’agissait d’une intuition profonde. La vraie magie, c’est comment il fait ça, et nous ne le savons pas exactement
      Il peut y avoir, ou non, un modèle du monde à l’intérieur. Qui sait ? Tout ce que nous savons, c’est que « prédire le prochain token » est un objectif simple, mais que, pour fonctionner aussi bien qu’aujourd’hui, cela exige une complexité énorme à l’intérieur de la boîte noire