Nous avons automatisé le « bullshit »

Discussions autour de l’IA

• Les discussions sur l’IA ont commencé par une question sur l’importance de l’IA en Afrique.
• L’intérêt pour l’avenir de l’IA s’est récemment accru, alors que le président américain et le Premier ministre britannique ont pris des décrets et tenu un sommet sur l’IA.
• Une critique est soulevée : l’IA produit en réalité du « bullshit » fondé sur du texte prédictif plutôt que sur la logique ou les faits.

Comment fonctionne l’IA

• Rodney Brooks, professeur d’IA au MIT, résume ChatGPT comme quelque chose qui « produit des choses agréables à entendre ».
• Les « choses agréables à entendre » désignent un algorithme qui imite des textes trouvés sur Internet, et le fait de « produire » renvoie à une randomisation élémentaire fondée sur du texte prédictif.
• D’autres chercheurs de premier plan en IA avancent des avis similaires, avec davantage de détails techniques dans des travaux comme l’article sur les « stochastic parrots ».

IA et vérité

• Geoffrey Hinton, souvent présenté comme le « parrain » de l’IA, met en garde contre le risque que les chatbots génèrent des textes très convaincants plutôt que véritablement intelligents.
• Dans un monde où les preuves et la logique ne sont pas respectées, on craint qu’un système fonctionnant sans preuves ni logique puisse en venir à dominer par sa seule force de persuasion.
• Dans On Bullshit, le philosophe Harry Frankfurt décrit le « bullshit » comme une attitude qui ne rejette pas l’autorité de la vérité, mais l’ignore.

IA et impact social

• Pourquoi le Premier ministre britannique a-t-il été impressionné par l’IA et par un « générateur automatisé de bullshit » ?
• L’analyse de David Graeber dans Bullshit Jobs révèle la véritable nature de l’IA.
• Plus de 30 % des travailleurs britanniques pensent que leur travail n’apporte aucune valeur à la société.
• Une partie de l’enseignement universitaire prépare les jeunes à se conformer à des processus bureaucratiques sans attendre grand-chose de la vie.

Entraînement des systèmes d’IA

• Les systèmes d’IA sont entraînés sur d’immenses archives de « bullshit » provenant de Twitter, Facebook, Reddit et d’autres sources, ainsi que sur des textes contenant des faits réels.
• ChatGPT ne dispose d’aucun algorithme permettant de vérifier quelles parties sont vraies ; sa production est donc définie comme du « bullshit ».
• Twitter encourage les responsables politiques qui se soucient peu de la vérité, et les archives de leurs déclarations peuvent servir à entraîner un « générateur automatisé de bullshit ».

L’avis de GN⁺

• Le point le plus important de cet article est que le contenu généré par l’IA ne repose pas sur la vérité ni sur la logique, et qu’il peut produire du « bullshit » capable de persuader les gens.
• Cela peut affecter la qualité du dialogue social et de l’information, et ce problème deviendra encore plus important à mesure que les technologies d’IA progresseront.
• Le sujet intéresse les gens parce qu’il aide à comprendre l’impact potentiel de l’IA sur notre vie quotidienne et sur le marché du travail, ainsi qu’à se préparer aux changements qu’apportera cette technologie.

[GN⁺]

Commentaires Hacker News

• Résumé du premier commentaire :

  • Les LLM (grands modèles de langage) fonctionnent selon le critère de « ce qui a l’air d’être la bonne réponse », et lorsqu’on n’est pas expert, il est difficile de juger si leur réponse est exacte.
  • Les LLM sont des outils utiles pour les experts, qui peuvent évaluer la justesse des snippets de code fournis dans leur domaine.

• Résumé du deuxième commentaire :

  • ChatGPT est entraîné sur des données provenant de sources variées et génère des réponses sans distinguer les faits exacts des informations incertaines.
  • Les humains apprennent d’une manière similaire, donc il ne faut pas faire une confiance totale aux sorties des LLM.

• Résumé du troisième commentaire :

  • Les réponses fournies par les LLM sont similaires à la génération du prochain token prévisible dans une conversation humaine.
  • Bien qu’ils en soient encore à un stade précoce, les LLM montrent déjà une capacité considérable à résoudre des problèmes par la conversation.

• Résumé du quatrième commentaire :

  • Les LLM imitent le langage humain et, ce faisant, imitent aussi les capacités de raisonnement encodées dans la structure du langage.
  • Les LLM manquent d’une mémoire précise, mais on peut compenser cela en incluant les informations nécessaires via un prompt approprié.

• Résumé du cinquième commentaire :

  • Les LLM utilisent une approche conversationnelle pour résoudre des problèmes, ce qui apporte une innovation dans le flux de travail.

• Résumé du sixième commentaire :

  • Les LLM sont une technologie spécialisée dans les capacités linguistiques, et des problèmes peuvent survenir s’ils ne sont pas intégrés à un système global de raisonnement ou à une base de données factuelle.

• Résumé du septième commentaire :

  • Les LLM peuvent parfois fournir des réponses inexactes, mais selon la manière dont l’utilisateur les exploite, ils peuvent améliorer la productivité.

• Résumé du huitième commentaire :

  • Le langage lui-même peut être vu comme un « bullshit generator » fonctionnant indépendamment de la « vérité », et les LLM exploitent cette caractéristique du langage.

• Résumé du neuvième commentaire :

  • En français, le mot « baratineur » désigne une personne qui dit ce que l’on veut entendre, indépendamment du vrai ou du faux, et cela pourrait être une expression plus adaptée aux LLM.

• Résumé du dixième commentaire :

  • Si le code généré par un LLM répond aux exigences, ce n’est pas du « bullshit » et il peut être utile dans certains contextes.