La fatigue de devoir parler à ses outils

• Les LLM ne fonctionnent pas comme de bons outils qui deviennent instinctifs, comme un clavier ou une voiture, mais plutôt comme des interlocuteurs qui exigent demandes et négociations, ce qui épuise l’énergie sociale de l’utilisateur
• Les bons outils, grâce à leur constance et à leur rapidité, sont intégrés par le cerveau comme une extension du corps, mais des LLM comme Claude ou Cursor n’en sont pas encore là
• Les utilisateurs de LLM finissent par demander, convaincre, et parfois même se mettre en colère comme dans une conversation humaine, en payant ainsi un coût social
• Les interactions humaines offrent des récompenses comme l’apprentissage, le défi, l’inspiration ou la contradiction, alors que les LLM renvoient surtout davantage de code, de tests, d’excuses, et parfois des rapports de bugs
• Certaines tâches sont devenues possibles à un niveau qu’une seule personne aurait eu du mal à atteindre il y a un an, mais il reste incertain que dépenser son énergie sociale avec des LLM soit préférable, pour toutes les tâches, à la consacrer à de vrais collègues

---

Le LLM, non pas comme outil mais comme interlocuteur

• Les LLM fatiguent parce qu’ils exigent de l’énergie sociale pour fonctionner
• Cette énergie pourrait être mieux employée dans de vraies interactions humaines
• Quand on utilise un bon outil, le cerveau l’intègre comme une partie du corps
  • conduire une voiture
  • taper au clavier
  • exécuter une tâche dans Vim ou VSCode avec une combinaison de touches
• À l’inverse, parler à une personne nous fait entrer dans une dynamique sociale
  • discuter
  • demander de l’aide
  • coopérer pour éviter qu’un ticket ne soit repoussé au trimestre suivant
• Ce travail cognitif social est plus difficile qu’un simple usage d’outil et demande davantage d’énergie

Ce que les LLM renvoient, et les récompenses qui manquent

• Les LLM n’offrent pas la magie de l’outil qu’apportent un clavier ou une voiture
  • peu de gens diraient que Claude ou Cursor donnent la sensation d’être une extension du corps
  • leur constance et leur rapidité ne suffisent pas encore pour que le cerveau les traite comme de véritables outils
• À la place, l’utilisateur doit parler au LLM, négocier avec lui, le convaincre et parfois se mettre en colère, en payant ainsi une taxe sociale
• Dépenser un coût social avec des humains a de la valeur, car cela apporte plus de récompenses
  • on peut apprendre quelque chose de nouveau ou être mis au défi
  • on peut être inspiré
  • si l’on dit n’importe quoi, l’autre peut le refuser
  • à l’inverse, on peut aussi enseigner à quelqu’un, le pousser à se dépasser ou l’inspirer
• Les LLM renvoient le plus souvent plus de code, plus de tests et plus d’excuses
  • parfois aussi davantage de rapports de bugs, ce qui peut avoir de la valeur
• Pour certaines tâches, les LLM permettent à une seule personne de faire des choses qui auraient été impossibles il y a un an
• Mais il n’est pas certain qu’il soit approprié, pour toutes les tâches, de consacrer son travail cognitif social à des conversations avec des LLM
• Les LLM exigent qu’on leur parle, mais offrent rarement une récompense à la hauteur de cet effort

[GN⁺]

Avis sur Lobste.rs

• Dans mon cas, parler avec une IA est déjà devenu comme une seconde nature. Aujourd’hui, j’ouvre facilement une dizaine de chats par jour pour toutes sortes de questions, presque sans m’en rendre compte
  Le flux consistant à saisir une question, lire, répondre, puis relire ressemble à une recherche sur Google. Comme conduire, où les gestes deviennent automatiques, discuter avec une IA commence au moins pour moi à occuper la même place

  • Je l’utilise un peu de la même manière, mais en ce moment j’y ajoute de plus en plus la recherche Brave. J’ai l’impression qu’à trop dépendre des LLM, on risque à long terme de voir ses capacités de recherche s’atrophier
    Parce qu’ils nous remplacent trop souvent pour trouver des sources et relier les connaissances. Bien sûr, c’est pratique quand on veut vite obtenir une réponse peu importante, mais globalement il faut garder ses compétences d’investigation affûtées
  • Je n’incluais pas ça dans le flux général du vibe coding. Je suis d’accord. De mon côté aussi, si j’ouvre un chat comme j’ouvrirais une recherche Google pour chercher quelque chose, en gardant des questions courtes sans lancer un long aller-retour, ça reste assez léger
    Je questionne aussi parfois la base de code quand j’ai une question précise, mais pour moi c’est plus proche du fait de demander à un collègue. Il faut réfléchir à la formulation, parfois reposer la question de manière plus spécifique, et il arrive qu’on obtienne une réponse fausse et qu’il faille reformuler encore
  • Vu que les LLM hallucinent souvent, je ne pense pas que ce soit une bonne chose. Je me souviens avoir vu une étude disant que presque la moitié des réponses des LLM n’étaient pas exactes, et je doute que ce chiffre se soit beaucoup amélioré depuis
    Selon la manière dont on les utilise, on peut presque leur déléguer la réflexion, avec un risque réel de dégradation des compétences. Il faudrait chercher à moins dépendre des LLM, pas à davantage en dépendre

• Pour parler de “récompense”, j’ai vu quelque chose d’intéressant il y a quelques jours. Je travaille avec deux programmeurs juniors, et pour moi c’est un équilibre assez difficile. J’aime encourager les gens, mais quand on accompagne des débutants, il faut aussi évaluer leur travail de manière critique
  Donc je cherche des occasions de les féliciter, mais en relisant du travail produit avec l’aide d’un LLM, je me suis rendu compte que le LLM m’avait retiré l’occasion de féliciter et de faire progresser la personne. Impossible de distinguer ce qui a été généré de ce qui relève réellement de ce qu’elle a appris
  Au final, on se retrouve à critiquer le travail fait par le LLM en disant “il faut lui faire faire plus / moins”, ou bien l’autre réagit sur la défensive avec un “oui mais le LLM disait ça”. Honnêtement, ça me fait reconsidérer la valeur même de la revue de code. Maintenant que tout le monde a son propre “copain de code” virtuel, on dirait qu’il y a moins d’occasions de partager des connaissances via la revue de code

  • Avec les LLM dans la boucle, l’approche doit réellement changer. La revue a désormais deux niveaux : la modification de code elle-même, et la manière dont l’outil a été utilisé pour produire cette modification
    Les deux peuvent faire l’objet de retours, mais sur le second point il n’y a pas encore de vrais experts, donc c’est davantage collaboratif. Malgré tout, la première règle est claire : si la personne ne peut pas expliquer la raison et le contenu du changement au-delà de “le LLM me l’a dit”, il faut refuser et recommencer

• Je suis d’accord pour dire que piloter un LLM est fatigant, mais ça n’a rien à voir avec la conduite. Ça fait plus de 30 ans que je conduis légalement, mais si je devais conduire pendant toute une journée de travail, il me faudrait probablement le lendemain pour récupérer
  On ne s’inquiète pas seulement de ses propres erreurs, mais aussi du fait que l’imprudence et l’incompétence des autres conducteurs peuvent mettre votre vie en danger. L’endroit où l’on conduit doit aussi beaucoup jouer 😅

  • À mon avis, cela se rapproche bien davantage du fait d’être entouré d’inconnus qui font le même travail, avec des conséquences potentiellement fatales lorsqu’ils manipulent cette expérience utilisateur, que d’un simple problème d’utilisabilité de l’expérience automobile

• Si je reprends la définition d’outil de l’auteur, alors Firefox n’a sans doute pas le statut d’outil à mes yeux, et selon ce critère Chromium est activement malveillant et hostile
  J’ai l’impression que la discussion autour de l’économie ou de la dépense d’énergie mentale avec les LLM est extrêmement multidimensionnelle. Il y a le degré d’attirance immédiate pour un mode de chat “humain” ou, au contraire, pour quelque chose sans esprit persistant, et par-dessus se greffent des tendances introverties / ambiverties / extraverties. La proximité ou non de la pensée avec le langage linéaire compte aussi : le LLM peut soit remplacer la réflexion, soit remplacer le travail qui consiste à traduire une vraie pensée en conventions de communication humaines agaçantes. Il y a aussi l’écart entre vitesse de lecture et vitesse de frappe
  Sur la persona sociale et les échanges aller-retour dont parle le texte, comme je lis mal les gens et que je ne peux pas les “rembobiner”, demander quelque chose à un LLM n’a rien à voir pour moi avec une conversation humaine. Je peux inspecter les passages verbeux avant la réponse pour voir comment l’ambiguïté de ma phrase a été interprétée, et je peux aussi réécrire ma dernière demande tout en gardant le début de la conversation afin d’éviter une mauvaise interprétation. Je peux même réécrire les réponses du LLM dans l’historique pour orienter la suite de la réponse
  Les LLM hébergés sont peut-être moins enclins à laisser entièrement réécrire les réflexions liées à la sécurité, mais c’est encore une autre raison de n’utiliser que des modèles locaux. Le simple fait qu’il s’agisse de services hébergés oligopolistiques, avec des changements de comportement sans préavis et des pondérations cachées, suffit déjà à les éviter
  Bien sûr, même si on pouvait faire ce genre de manipulation à un humain, ce serait une mauvaise chose. Les humains ont une personnalité durable. C’est pourquoi parler avec un outil qui n’est pas conçu pour avoir un esprit persistant est parfois moins fatigant. Même si je suis trop bref ou trop sec, l’outil ne s’en offusque pas
  Et le conseil actuel, n’est-ce pas que, plutôt que de laisser une erreur dans le contexte comme dans une conversation humaine puis de devoir s’expliquer, il vaut presque toujours mieux réécrire la requête initiale pour éviter l’erreur ?

• J’aime discuter avec Claude, et comme il a été entraîné à être très aimable en fonction des préférences humaines, je pense que beaucoup de gens ressentent quelque chose de similaire