Au moment où les gens commencent à cerner les caractéristiques du modèle et à trouver puis appliquer les prompts et workflows de compétences appropriés, un nouveau modèle est déjà sorti....
Je me demande même s’il est possible d’utiliser correctement les agents à l’heure actuelle.
Je suis d’accord. L’idée, c’est de chercher ensemble et de résoudre les problèmes ensemble. Vous n’avez sans doute pas essayé de cette façon, alors j’ai l’impression que vous cherchez peut-être à imposer votre réponse comme la seule bonne un peu trop fermement. De mon côté aussi, je vais essayer de laisser un commentaire aussi aimable et mesuré que possible~^^
George Hotz lui aussi utilise l’IA en la considérant simplement comme une sorte de compilateur. Pour la conception, l’architecture ou les choix, le jugement humain reste encore nécessaire... Globalement, si on laisse l’IA prendre les commandes, il n’y a plus vraiment de raison qu’un développeur le fasse lui-même.
En réalité, ce n’est pas propre aux LLM, les humains aussi font ça parfois.
La différence, c’est qu’un humain peut intégrer le feedback, alors qu’avec un LLM, il est presque impossible de corriger ses mauvaises habitudes étranges. Même quand on le lui fait remarquer, il finit par refaire la même chose tôt ou tard.
N’est-ce pas là que naissent l’inefficacité et la fatigue ?
Évidemment que ce sera plus lent si on compare ça à une requête déjà implémentée à la perfection et ultra optimisée, puis qu’on lui demande de la réécrire dans un autre langage.
Puisqu’on lui a juste dit « écris-la », haha
Aïe, senior, mais prenez soin de votre santé d’abord. Vous avez oublié ? Je me souviens avoir souvent vu des infos sur des pionniers de l’IT morts subitement après avoir passé des nuits entières à se consumer par passion. J’ai moi-même la quarantaine bien entamée, et grâce à l’IA, j’arrive désormais à travailler plus sereinement qu’avant tout en m’occupant de mes enfants. ^^
Il semble qu’en achetant l’e-book (payant), le téléchargement soit possible au format PDF et EPUB.
Je vais bientôt le préparer pour celles et ceux qui en ont besoin.
Merci.
Il suffit d’essayer un peu pour le sentir immédiatement. Je ne comprenais pas pourquoi d’autres développeurs disaient ressentir de la fatigue lors de la revue, mais peu importe la qualité des prompts et des techniques utilisées, le code généré par l’IA présentait toujours quelque part un défaut.
Même pour moi, qui ai galéré plus de dix ans, Claude Code me redonne cette excitation que j’avais ressentie la première fois que j’ai découvert un langage.
Je ne laisse jamais passer tel quel un résultat généré par un LLM. Au contraire, quand je rencontre un goulot d’étranglement, cela me fait découvrir qu’on peut aussi le résoudre de différentes manières, et j’ai l’impression d’apprendre et d’étudier encore davantage.
Honnêtement, ces derniers temps, quand je regarde autour de moi, j’ai l’impression que les personnes ayant un peu plus de bouteille s’amusent davantage avec l’IA.
Sur la base de l’expérience accumulée à force d’avoir déjà fait pas mal de choses, leur confier à l’IA ce qu’on faisait autrefois avec des humains donne une impression de confort.
D’un autre côté, je m’inquiète aussi en me disant que ceux qui profitent de cette situation ont déjà atteint une certaine position et peuvent considérer l’IA un peu comme un jouet, alors que, pour les jeunes, l’avenir doit sembler bien plus incertain.
J’ai lu l’article original, et l’analyse comme la critique me semblent pertinentes. En revanche, les modèles expérimentaux utilisés dans les études citées donnent, à l’heure actuelle, une impression un peu datée (?).
La passion rallumée — des réactions qui résonnent chez les profils expérimentés
burnstek (la cinquantaine)
Épuisé par l’évolution incessante de la stack web (Angular, React, Vue, npm, etc.), il avait complètement arrêté de coder
Des outils comme Claude Code sont devenus un « cheat code ultime » qui a ravivé son envie de créer
Il comprend l’architecture et la plomberie du code, mais n’a plus besoin de se soucier des détails d’implémentation
Il ajoute qu’il se réjouit aussi de voir LeetCode disparaître
kitd (la soixantaine, retraite prévue cet été)
Position opposée : les agents lui ont largement enlevé la satisfaction de concevoir, implémenter, tester et finir une fonctionnalité
Il estime qu’il y a déjà beaucoup de satisfaction à construire quelque chose de simple et efficace sans framework
Il compare cela à ce qu’ont pu ressentir les tisserands face aux métiers à tisser mécaniques pendant la révolution industrielle
Il reconnaît l’attrait des agents d’un point de vue business, mais pour lui, la joie du code a disparu
LogicFailsMe (longue expérience)
Il débordait d’idées mais manquait de temps pour coder des prototypes, et Claude Code a résolu ce problème
Comme l’IA ne peut pas améliorer les performances d’un code déjà optimisé, il a l’impression d’avoir gagné un junior engineer infatigable
Là où Cursor se perdait il y a un an, Claude Code s’en sort facilement, même s’il hallucine encore sur des points inattendus
Il juge les agents de code IA aussi révolutionnaires que la première fois où il a vu CUDA il y a 20 ans
Il s’attend à voir aujourd’hui la même résistance à l’IA qu’à l’époque face à CUDA
ACCount37
Le cœur de la division, selon lui : aime-t-on le travail « micro » qui consiste à assembler des morceaux de code, ou aime-t-on construire un système qui fonctionne (« macro »)
Si c’est le premier cas, on n’aimera pas les agents IA ; si c’est le second, on les aimera
ThrowawayR2
Pour lui, la vraie ligne de fracture oppose les profils manager aux profils hacker
Il note qu’une grande partie des enthousiastes des LLM ne sont pas des codeurs hands-on, mais des PM, managers ou ingénieurs Staff+
Il rappelle aussi que les données d’apprentissage des futurs langages et frameworks seront, au final, produites par les hackers qui font le travail « micro »
nineteen999 (plus de 40 ans d’expérience)
Ses mains sont moins agiles qu’avant, avec de l’arthrite et des douleurs au poignet, et l’IA est devenue pour lui un cadeau du ciel
Son expérience est que, si l’on garde les choses bien structurées et centrées sur les API/interfaces, l’IA peut produire des résultats remarquables
cheema33 (la cinquantaine)
Comme il trouve sa joie dans la résolution de problèmes elle-même plutôt que dans les détails d’API, Claude Code lui donne l’impression d’avoir des ailes
Il pense qu’un changement comparable va se produire, comme le recul progressif du rôle des programmeurs assembleur sur plusieurs décennies
bartread (âge et situation similaires)
Il était extrêmement fatigué de devoir réapprendre pendant des décennies les mêmes tâches sous de nouvelles formes
Claude est pour lui un énorme multiplicateur de force qui lui permet de se concentrer sur la résolution de problèmes et l’UX sans saisir lui-même le code
Plus besoin de manipuler directement du CSS ou Tailwind : il suffit de décrire ce qu’il veut, et le résultat suit
Il parle de « programmation déclarative ultime »
jitbit (50 ans cette année)
Sa passion pour le code ne s’est jamais éteinte, mais le temps limité devient un problème croissant
Claude Code et Cursor lui font gagner énormément de temps
Comme il lui reste 10 à 20 ans d’activité possible, ces outils lui paraissent d’autant plus importants
Critiques et inquiétudes — les avertissements des experts
samiv (Principal Engineer)
Il ressent une forme de dépossession face à la forte dévalorisation de l’expertise accumulée sur plusieurs décennies
Son observation empirique est que ceux qui s’enthousiasment le plus pour l’IA sont souvent justement ceux qui savent le moins bien développer du logiciel
Déprimé et démotivé, il envisage une retraite anticipée
hi_hi
Réponse : cette expertise de plusieurs décennies peut justement servir à utiliser les LLM en expert
Les critères fondamentaux d’un bon logiciel — maintenabilité, solidité dans la durée — ne changent pas
Comme l’IA ne produit rien de valable seule, il faut de l’expérience pour créer de la valeur
bri3d (Staff Engineer)
L’IA est un multiplicateur de force pour les excellents ingénieurs, mais pour les juniors c’est un amplificateur par 10 du volume de slop
Sa vraie inquiétude : comment former à l’avenir des personnes capables de distinguer le bon code du mauvais
Si le recrutement junior recule, qui deviendra expert ? Dans 5 à 10 ans, on pourrait se retrouver avec des montagnes de dette technique et plus personne pour les corriger
Paradoxalement, cela pourrait être une opportunité en or pour les ingénieurs expérimentés aujourd’hui
switchbak
Il avertit que l’attitude consistant à dire « pas besoin de se soucier des détails d’implémentation » crée de graves problèmes
Il constate déjà des managers qui soumettent d’énormes PR en ignorant les détails
Dans une codebase inconnue, comme en Haskell, on peut commettre de grosses erreurs même avec les meilleures intentions
0x20cowboy
Les LLM sont excellents pour le code, mais très mauvais en software engineering
Le fait même qu’ils aient besoin d’un « guide » le montre bien
Il corrige actuellement une app vibe-coded : les fonctions prises individuellement sont correctes, mais l’ensemble est du spaghetti code
Si l’on trouve son plaisir dans le fait de taper le code lui-même, c’est un problème ; si on le trouve dans la construction d’un système complet, il reste encore beaucoup à faire
codazoda (40 ans de carrière, 50 ans cette année)
Il a créé avec Claude un éditeur basé sur Node, mais là où son ancien outil faisait 2,7 KB, il s’est retrouvé avec un bundle de 48 KB et 89 dépendances
C’est sa faute, car il avait oublié de préciser la contrainte « zero-framework » dans le prompt, mais cela montre bien qu’il faut piloter l’IA en professionnel
Il a jugé que ce code ne passerait jamais l’épreuve de 5 ans et a décidé de repartir de zéro
ACS_Solver
Sceptique sur le code avec LLM pendant deux ans, il a récemment eu l’impression que les modèles avaient franchi un seuil critique
Il a bouclé en 4 heures un refactoring qui aurait pris plusieurs jours, et exécuté en 10 minutes une tâche d’une heure
Mais il a dû corriger lui-même les moments où l’IA partait dans une mauvaise direction ou oubliait des edge cases
Sa vraie inquiétude : s’il n’y a plus d’embauche junior, comment les experts de demain vont-ils émerger
Il est impressionné de voir qu’avec Sonnet 4.6, le problème des tests modifiés arbitrairement semble résolu
Le débat sur la démocratisation — les deux camps
lovelearning
Il critique comme élitiste l’idée que « n’importe quel idiot peut faire du logiciel avec un LLM »
Il juge cela positivement en invoquant des précédents historiques comme l’édition de livres, la publication web, l’open source ou la démocratisation du hardware
latexr
Réponse : les LLM ne constituent pas une vraie démocratisation, mais une structure de dépendance envers un petit nombre d’entreprises
Selon lui, ce qui était vraiment démocratique, c’était l’Internet d’avant, rempli de ressources gratuites
atonse (Tech Lead)
Le jugement, le goût et l’architecture restent sa contribution propre, et l’IA les amplifie par 100
Il se réjouit aussi que des non-développeurs puissent désormais accéder à ces outils — leurs idées ne mourront plus dans leur tête
iExploder
Pour lui, c’était déjà démocratisé : quiconque avait de la motivation pouvait apprendre
Il comprend néanmoins la frustration liée à l’effondrement de la promesse sociale selon laquelle « si l’on étudie, on est récompensé »
Conflit générationnel et réalité économique
tavavex (jeune génération)
Il souligne que la majorité des commentaires HN viennent de personnes de 40 à 60 ans, qui ont déjà accumulé patrimoine et carrière
Ces personnes sont protégées par leur séniorité, leur expérience ou leur passage au management, tandis que les juniors et profils intermédiaires sont les vrais exposés
Il dit que, dans le contexte d’« une explosion en arrière-plan », tout cela ressemble à « une discussion sur des jouets »
Dumblydorr
La réalité, dit-il, c’est que des compétences construites sur des décennies peuvent désormais être répliquées en 5 minutes par un PM avec des tokens
Licenciements massifs, mauvais marché de l’emploi, déferlement d’outils IA, possible bulle : selon lui, il est difficile d’être optimiste
rps93
Après avoir commencé sa carrière en 2009 dans l’UX research et le front-end, il a le sentiment d’exercer un métier en voie de disparition à cause de l’IA
Il vend sa maison pour sécuriser des gains et se préparer à un éventuel effondrement du marché de l’IA
bayarearefugee
Les personnes financièrement stables adorent le monde des LLM, tandis que les autres perdent leur carrière
Il souligne à quel point l’expérience de ces deux groupes est radicalement dissociée
Des exemples de renaissance chez les développeurs âgés
dbdoug (presque 80 ans)
Il n’avait plus codé depuis plus de 10 ans, mais avec Claude et Gemini il écrit de nouveau du Python et de l’AppleScript
Il lit et étudie le code généré ligne par ligne et s’en sert comme outil d’apprentissage
meebee (66 ans)
Ces derniers mois, il a terminé lui-même de nombreuses apps : wishlist média, liste de courses, journal de santé, habit tracker, app iOS pour montre (dont un entraîneur de tactique aux échecs), etc.
Comme les apps payantes existantes n’offraient jamais exactement ce qu’il voulait, il a créé ses propres apps en vibe-coding
Il a aussi mis en place une synchronisation familiale en reliant iCloud et une base SQLite sur Raspberry Pi
rayxi271828 (plus de 30 ans de carrière)
Il pensait ne jamais retrouver l’excitation de l’époque COM/DCOM/MFC/ATL, mais Claude Code et Codex lui ont rendu une émotion proche d’un premier amour
Il a même construit lui-même un orchestrateur qui dialogue via Telegram avec des agents en conteneurs
ChrisMarshallNY (63 ans)
Il réécrit depuis un mois, avec des LLM, une app réellement lancée utilisée par plusieurs milliers de personnes, un travail qui lui avait initialement pris 13 mois
Le plus dur dans sa retraite était l’isolement du travail en solitaire, et les LLM lui ont rendu la sensation de rêver en équipe
tqwhite (73 ans, retraite complète)
Premier programme en 1967, et plusieurs décennies plus tard il fait tourner un agent basé sur Claude Code (« Milo ») intégré à la base de données graphe neo4j
Il utilise neo4j sans avoir à apprendre le langage de requête CYPHER — il vit l’IA comme un partenaire cognitif
Il regrette que ses contemporains retraités ne puissent pas comprendre ce plaisir
Approfondissement de la dichotomie « micro vs macro »
zmmmmm
Il recommande de garder le contrôle direct au lieu de passer en mode agent
On peut ainsi se libérer de l’apprentissage fastidieux de la syntaxe et des galères d’infra tout en gardant la main sur l’architecture
fragmede
Réponse : sans mode agent, le gain de productivité reste limité
En orchestrant bien les boucles, on peut mettre en place des workflows qui tournent seuls pendant des heures
Il dit que la satisfaction s’est déplacée de « l’écriture du code » vers « le polish une fois les composants terminés »
empath75 (ADHD)
À cause de son ADHD, il traînait depuis des décennies une liste de projets inachevés, et Claude a supprimé les frictions entre l’idée et l’exécution
La valeur clé, pour lui, est de pouvoir créer rapidement des CLI, TUI et web UI
En quelques mois, il a abandonné plusieurs idées et en a mis une en production dans son travail
echelon (ADHD)
Il dit que Claude Code fait disparaître son ADHD et le place en hyperfocus
Il n’utilise pas encore le mode agent et indique lui-même les emplacements de fichiers, les noms de structures et même les jointures SQL, tout en relisant chaque ligne
Il juge la qualité du code Rust particulièrement bonne
Il avertit aussi que, sur un projet au code médiocre, l’IA renverra un code du même niveau
Points de vue singuliers et réflexions philosophiques
antirez
Les bons programmeurs savent quoi construire et ont des idées d’architecture, ce qui leur permet de bien exploiter les LLM
Sans idée ni direction, on obtiendra un résultat médiocre, comme une personne ordinaire avec Corel Draw dans les années 90
rendall
Il voit là un changement de paradigme comparable à l’invention de la photographie, quand les peintres sont passés du rôle de documentaristes à celui d’artistes et d’interprètes
L’impressionnisme, le surréalisme et d’autres courants sont le produit de décennies d’adaptation à ce changement
Après l’IA, les ingénieurs expérimentés pourraient en réalité devenir encore plus précieux socialement
jorl17 (début de quarantaine)
Il avait perdu depuis quelques années cette impression d’« avoir 10 coups d’avance » qu’il ressentait à l’université, et l’IA la lui a rendue
Il a compris qu’il trouvait sa joie non dans le code, mais dans la résolution de problèmes
Il dit que le logiciel entre enfin dans son ère DIY — une époque où même un non-développeur de 65 ans peut créer son propre logiciel
elzbardico
Même en utilisant beaucoup Claude Code et AMP, il constate que sans surveillance, on obtient souvent du mauvais code, des régressions et une optimisation insuffisante
La modularité est médiocre, et des concepts vieux de 50 ans comme la cohésion et le couplage sont ignorés
Les agents de code sont d’excellents outils, mais ceux qui pensent pouvoir « construire seuls un système complexe » les utilisent mal
al_borland (préfère coder lui-même)
Il a essayé Claude pendant deux jours et n’a pas du tout été convaincu — comme obtenir un A à un examen en trichant
Il n’a rien appris, n’a ressenti aucun accomplissement, seulement obtenu un résultat
Il compare cela à la différence entre réparer soi-même sa plomberie et faire appel à une entreprise pour remplacer une fenêtre — il ne ressent de satisfaction que dans le premier cas
Il prévoit de supprimer la branche concernée et de tout réécrire lui-même
vitaflo (développeur Rust)
Il reprend la phrase de son lead : « le parcours de chacun sur cette voie est différent »
Le mode agent le déprime, mais il utilise les LLM comme outil de planification — très utiles pour brainstormer et jouer le rôle de rubber duck
Il recommande à chacun de trouver sa propre manière de faire
Thanemate (45 ans)
Il met en garde contre le survivorship bias et la pensée de groupe sur HN
Les personnes happées par la vague LLM ont tendance à fréquenter davantage HN
Il dit vivre une crise existentielle et une dépression à cause de l’obligation d’utiliser l’IA — le travail consistant à corriger plusieurs agents lui pèse énormément
Le tweet de présentation de Karpathy
> Je l’ai préparé pour ceux qui veulent l’essayer pendant le week-end.
> C’est une œuvre mêlant code, science-fiction et un soupçon de folie :)
Pourquoi vous faites ce genre de choses le week-end, franchement ?
Il semble que cela mesure un total où se mélangent des variables autres que les caractéristiques propres au langage. Sur GitHub, il y a les résultats du temps requis par expérimentation, mais pas les logs d’exécution. Il est difficile de vérifier ne serait-ce que le temps passé par sous-tâche, qui est pourtant l’indicateur le plus courant, et étant donné la nature des sorties de LLM, la reproduction semble impossible.
L’auteur reconnaît lui-même, dans la section sur les limites, qu’il s’agit d’un travail ponctuel au stade du prototype. Malgré cela, je pense dans l’ensemble qu’il s’agit d’une expérience manquant de transparence et dont les variables n’ont pas été correctement contrôlées.
Un instant !<ctrl+ enter>
Au moment où les gens commencent à cerner les caractéristiques du modèle et à trouver puis appliquer les prompts et workflows de compétences appropriés, un nouveau modèle est déjà sorti....
Je me demande même s’il est possible d’utiliser correctement les agents à l’heure actuelle.
Je suis d’accord. L’idée, c’est de chercher ensemble et de résoudre les problèmes ensemble. Vous n’avez sans doute pas essayé de cette façon, alors j’ai l’impression que vous cherchez peut-être à imposer votre réponse comme la seule bonne un peu trop fermement. De mon côté aussi, je vais essayer de laisser un commentaire aussi aimable et mesuré que possible~^^
George Hotz lui aussi utilise l’IA en la considérant simplement comme une sorte de compilateur. Pour la conception, l’architecture ou les choix, le jugement humain reste encore nécessaire... Globalement, si on laisse l’IA prendre les commandes, il n’y a plus vraiment de raison qu’un développeur le fasse lui-même.
En réalité, ce n’est pas propre aux LLM, les humains aussi font ça parfois.
La différence, c’est qu’un humain peut intégrer le feedback, alors qu’avec un LLM, il est presque impossible de corriger ses mauvaises habitudes étranges. Même quand on le lui fait remarquer, il finit par refaire la même chose tôt ou tard.
N’est-ce pas là que naissent l’inefficacité et la fatigue ?
Déplacé car cela ne correspond pas à Show GN.
Veuillez consulter le mode d’emploi de Show avant de le publier.
Évidemment que ce sera plus lent si on compare ça à une requête déjà implémentée à la perfection et ultra optimisée, puis qu’on lui demande de la réécrire dans un autre langage.
Puisqu’on lui a juste dit « écris-la », haha
Les vibe coders de niveau big tech devraient bientôt faire leur apparition dans les commentaires.
Aïe, senior, mais prenez soin de votre santé d’abord. Vous avez oublié ? Je me souviens avoir souvent vu des infos sur des pionniers de l’IT morts subitement après avoir passé des nuits entières à se consumer par passion. J’ai moi-même la quarantaine bien entamée, et grâce à l’IA, j’arrive désormais à travailler plus sereinement qu’avant tout en m’occupant de mes enfants. ^^
Faites aussi une version pour AMD ROCm.
Il semble qu’en achetant l’e-book (payant), le téléchargement soit possible au format PDF et EPUB.
Je vais bientôt le préparer pour celles et ceux qui en ont besoin.
Merci.
Il suffit d’essayer un peu pour le sentir immédiatement. Je ne comprenais pas pourquoi d’autres développeurs disaient ressentir de la fatigue lors de la revue, mais peu importe la qualité des prompts et des techniques utilisées, le code généré par l’IA présentait toujours quelque part un défaut.
Je comprends tout à fait.
Même pour moi, qui ai galéré plus de dix ans, Claude Code me redonne cette excitation que j’avais ressentie la première fois que j’ai découvert un langage.
Je ne laisse jamais passer tel quel un résultat généré par un LLM. Au contraire, quand je rencontre un goulot d’étranglement, cela me fait découvrir qu’on peut aussi le résoudre de différentes manières, et j’ai l’impression d’apprendre et d’étudier encore davantage.
Je ressens exactement la même chose.
Honnêtement, ces derniers temps, quand je regarde autour de moi, j’ai l’impression que les personnes ayant un peu plus de bouteille s’amusent davantage avec l’IA.
Sur la base de l’expérience accumulée à force d’avoir déjà fait pas mal de choses, leur confier à l’IA ce qu’on faisait autrefois avec des humains donne une impression de confort.
D’un autre côté, je m’inquiète aussi en me disant que ceux qui profitent de cette situation ont déjà atteint une certaine position et peuvent considérer l’IA un peu comme un jouet, alors que, pour les jeunes, l’avenir doit sembler bien plus incertain.
J’ai lu l’article original, et l’analyse comme la critique me semblent pertinentes. En revanche, les modèles expérimentaux utilisés dans les études citées donnent, à l’heure actuelle, une impression un peu datée (?).
Une synthèse un peu différente des commentaires sur Hacker News
La passion rallumée — des réactions qui résonnent chez les profils expérimentés
burnstek (la cinquantaine)
kitd (la soixantaine, retraite prévue cet été)
LogicFailsMe (longue expérience)
ACCount37
ThrowawayR2
nineteen999 (plus de 40 ans d’expérience)
cheema33 (la cinquantaine)
bartread (âge et situation similaires)
jitbit (50 ans cette année)
Critiques et inquiétudes — les avertissements des experts
samiv (Principal Engineer)
hi_hi
bri3d (Staff Engineer)
switchbak
0x20cowboy
codazoda (40 ans de carrière, 50 ans cette année)
ACS_Solver
Le débat sur la démocratisation — les deux camps
lovelearning
latexr
atonse (Tech Lead)
iExploder
Conflit générationnel et réalité économique
tavavex (jeune génération)
Dumblydorr
rps93
bayarearefugee
Des exemples de renaissance chez les développeurs âgés
dbdoug (presque 80 ans)
meebee (66 ans)
rayxi271828 (plus de 30 ans de carrière)
ChrisMarshallNY (63 ans)
tqwhite (73 ans, retraite complète)
Approfondissement de la dichotomie « micro vs macro »
zmmmmm
fragmede
empath75 (ADHD)
echelon (ADHD)
Points de vue singuliers et réflexions philosophiques
antirez
rendall
jorl17 (début de quarantaine)
elzbardico
al_borland (préfère coder lui-même)
vitaflo (développeur Rust)
Thanemate (45 ans)
Le tweet de présentation de Karpathy
> Je l’ai préparé pour ceux qui veulent l’essayer pendant le week-end.
> C’est une œuvre mêlant code, science-fiction et un soupçon de folie :)
Pourquoi vous faites ce genre de choses le week-end, franchement ?
Est-ce qu’il n’est pas possible de le télécharger ?
Il semble que cela mesure un total où se mélangent des variables autres que les caractéristiques propres au langage. Sur GitHub, il y a les résultats du temps requis par expérimentation, mais pas les logs d’exécution. Il est difficile de vérifier ne serait-ce que le temps passé par sous-tâche, qui est pourtant l’indicateur le plus courant, et étant donné la nature des sorties de LLM, la reproduction semble impossible.
L’auteur reconnaît lui-même, dans la section sur les limites, qu’il s’agit d’un travail ponctuel au stade du prototype. Malgré cela, je pense dans l’ensemble qu’il s’agit d’une expérience manquant de transparence et dont les variables n’ont pas été correctement contrôlées.