Vibe Coding - coder à l’instinct
(x.com/karpathy)- Andrej Karpathy décrit le vibe coding comme une nouvelle manière de créer, rendue possible par des LLM devenus suffisamment bons, presque sans être conscient du code lui-même
- En combinant Cursor Composer, Sonnet et la saisie vocale de SuperWhisper, il exprime les besoins à l’oral en utilisant à peine le clavier
- Même pour une demande mineure comme réduire de moitié un padding, il ne cherche pas lui-même et délègue, puis clique sur Accept All sans lire le diff
- Il copie-colle les messages d’erreur sans explication, et si le LLM n’arrive pas à corriger le bug, il le contourne ou répète des modifications arbitraires jusqu’à ce que le problème disparaisse
- Cela peut convenir à des projets jetables du week-end, mais le code peut grossir au-delà de ce qu’il comprend, au point que cela ressemble davantage à regarder, parler, exécuter et coller qu’à coder
Méthode de travail du « vibe coding »
- Le vibe coding consiste à s’en remettre entièrement au LLM, presque jusqu’à oublier l’existence même du code
- L’exemple d’outil cité est Cursor Composer with Sonnet, et SuperWhisper est utilisé pour la saisie vocale
- Plutôt que de chercher ou modifier directement le code, le flux suivant se répète
- repérer à l’écran le changement nécessaire
- le demander oralement à Composer
- exécuter le résultat
- copier-coller le message d’erreur
- Les diffs ne sont plus lus, et il clique toujours sur Accept All
- Quand le code devient plus volumineux que son niveau habituel de compréhension, il faut ensuite passer du temps à le lire pour réellement le comprendre
Limites et exemples
- Il arrive aussi que le LLM ne parvienne pas à corriger un bug
- dans ce cas, il contourne le bug
- ou bien il continue à demander des modifications arbitraires jusqu’à ce que le problème disparaisse
- Il estime que cette approche n’est pas mauvaise pour des throwaway weekend projects
- Il a aussi créé un jeu de bataille navale en environ une heure de vibe coding
- deux modèles de LLM choisis arbitrairement par l’utilisateur s’y affrontent en temps réel
- il n’y a pas encore de statistiques solides, mais il dit que 4o semble battre 4o-mini
2 commentaires
Avis sur Hacker News
Pour l’avoir utilisé directement, c’est plutôt correct, mais il faut clairement se méfier des hallucinations.
Par exemple, je lui ai demandé de rédiger un rapport de présentation sur moi en 500 mots, et il contenait au moins trois erreurs. Il disait que ma réputation sur Stack Overflow était de 47 000 points, alors qu’en réalité il avait confondu les « 47k personnes atteintes » de mon profil avec ma réputation de 525 points. Il affirmait aussi que j’avais répondu à une question sur le monkey-patching en PHP, alors qu’en réalité c’était une question que j’avais posée il y a 15 ans, et la réponse venait de quelqu’un d’autre. Enfin, la citation d’interview n’était pas de moi non plus, mais d’un entretien avec mon frère, avec qui j’ai cofondé l’entreprise.
C’est utilisable comme point de départ, mais il faut impérativement suivre les liens vers les sources pour vérifier le résultat.
Si la partie difficile est la rédaction, il est sans doute plus rapide de faire soi-même les recherches et le plan, puis de demander au grand modèle de langage de transformer cela en texte final. Mais dans ce cas, cela revient à prouver que le style de la prose est la partie la moins précieuse du travail ; en tant qu’ancien étudiant en littérature anglaise, ça fait mal, mais c’est globalement vrai.
Certaines entreprises sortent des produits bien avant d’avoir la capacité de les lancer correctement, et je ne suis pas sûr que leur défense juridique soit si solide. Cela dit, des sorties assistées par une base de données peuvent, et devraient, fortement limiter ce phénomène de faux souvenirs. Il faut une vérification linéaire, comme chez un humain qui propose une idée puis la confronte aux données ; c’est de la due diligence et cela fait partie du raisonnement. On dirait que des mouvements dans une autre direction que l’évolution du produit central perturbent la R&D, presque comme une forme de procrastination.
Quand on parle de « recherche approfondie », on comprend aussi que cela inclut le fait de trouver la bonne réponse.
Aujourd’hui, même si seulement 10 % des réponses sont complètement fausses, qu’elles soient manifestement absurdes ou auto-contradictoires, beaucoup estiment que cela détruit fortement la confiance dans l’ensemble des interactions. En dehors de la reconfirmation de choses qu’on sait déjà, les modèles de langage ne sont pas réellement assez grands pour tout savoir ; ils donnent seulement l’impression de savoir.
Ce que je veux, ce n’est pas simplement une réponse correcte, mais une réponse correcte obtenue plus vite que si je faisais moi-même les recherches, et plus vite aussi que le temps nécessaire pour vérifier la réponse fournie par la machine. Faire passer à un élève un examen dont je connais les réponses, et devoir faire confiance à une réponse à une question dont j’ignore moi-même la réponse, ce sont deux niveaux complètement différents.
C’est utile de temps à autre ici ou là, mais pas à la hauteur de l’argent qui y est injecté. Bien sûr, c’est utile pour les entreprises qui reçoivent cet argent. Voici un exemple pour lequel on s’attendrait à ce qu’une vraie IA puisse résoudre le problème seule, alors que les grands modèles de langage actuels échouent lamentablement : https://x.com/RadishHarmers/status/1885884032220643587
Si le domaine ne permet pas d’accepter les erreurs ou les hallucinations, il faut que le temps nécessaire à un humain pour vérifier la solution soit exponentiellement plus rapide que le temps que met l’IA à la trouver pour qu’il y ait un gain réel.
Ce ne sera pas une solution à tous les problèmes, mais c’est comme beaucoup de problèmes d’ingénierie. Par exemple, un ORM n’est pas adapté à toutes les requêtes, mais il est suffisant pour une bonne partie d’entre elles.
Ça fait peur. Même en admettant les problèmes d’hallucinations et d’erreurs, il y a de fortes chances que les vrais utilisateurs les ignorent et mettent directement la sortie dans leur PowerPoint
Le conseil en management était déjà suffisamment mauvais à la base, mais si l’on peut produire en masse, à volonté, des graphiques et des statistiques, ce sera encore pire. Avant, au moins, il y avait en coulisses une certaine compréhension de l’origine des chiffres, et on pouvait fournir des sources
Plus ces outils deviendront puissants, plus l’effet de diffusion de leurs résultats un peu partout deviendra courant
Les grands modèles de langage rendent les gens immunisés contre ce genre de contenu à faible valeur informationnelle. Les personnes qui produisent des résultats du niveau d’un LLM sont désormais soupçonnées d’avoir utilisé un LLM, et il leur devient plus difficile de faire semblant d’apporter de la valeur. Au final, on exigera une qualité plus élevée des consultants, et ceux qui ne produisent que du verbiage au lieu d’informations exactes, pertinentes et contextualisées seront écartés
Gemini avait déjà depuis un ou deux mois un Deep Research du même nom : https://blog.google/products/gemini/google-gemini-deep-resea...
Méta-question : je me demande pourquoi les noms se chevauchent autant dans le secteur de l’IA. Ça me fait penser à Triton (Nvidia, OpenAI) ou à Gro{k,q} (X.ai, groq, OpenAI)
Les mots nécessaires au marketing mais qui ne correspondent pas à ce qui est réellement atteint sont redéfinis. « grok » en est un exemple parfait : dans le livre de SF d’origine, cela signifiait « compréhension totale ». Triton, dans la mythologie, régnait sur les profondeurs marines ; le discours commercial autour du « deep learning » s’en est donc emparé directement
Quand on essaie soi-même, il est assez difficile d’amener un grand modèle de langage à vraiment creuser. Deep Research d’OpenAI donne l’impression d’être l’un des premiers exemples de la manière dont un grand laboratoire peut y parvenir. En général, la partie difficile n’est pas l’« agent » lui-même, mais le fait de forcer le modèle à ne pas oublier d’aller en profondeur
Je ne sais pas si vous l’avez remarqué, mais cette fonction semble être propulsée par le modèle o3 non publié. Cela colle avec le fait qu’elle devance largement les benchmarks et avec l’affirmation selon laquelle o3 serait trop coûteux pour une sortie publique. Cela ressemble à un modèle impressionnant, en avance sur Google, DeepSeek et Perplexity
Si o3 est trop cher pour être mis à disposition du grand public, pourquoi l’utiliser dans un outil qui doit effectuer des centaines d’appels d’inférence par question ? Ils utiliseraient un modèle bien moins cher. Il est plus probable qu’ils aient combiné o3-mini ou o1-mini, avec peut-être o4-mini pour certaines tâches
o3 peut avoir l’avantage lorsqu’il s’agit de synthétiser la réponse finale ou de choisir entre des sources contradictoires, mais il faut énormément d’étapes pour arriver jusque-là
Pour les personnes travaillant dans le monde universitaire, c’est un outil réellement intéressant. J’aimerais l’essayer, mais je ne peux pas me permettre 200 dollars par mois pour l’instant
Ce serait bien si quelqu’un pouvait le tester avec le prompt suivant : en tant qu’assistant de recherche en physique des particules, rédiger une synthèse technique comparant le Future Circular Collider (FCC) du CERN, l’International Linear Collider (ILC), le Compact Linear Collider (CLIC), les différentes propositions de Muon Collider et les principaux projets de collisionneurs de particules de prochaine génération en 2024, en couvrant les plages d’énergie, les types de collisions, les calendriers, les avantages et inconvénients techniques, les coûts, les objectifs de physique, les rapports de conception, les coopérations internationales, le rapport coût-efficacité, les chances de découverte, les infrastructures, l’impact environnemental et les voies de mise à niveau
La sortie complète était trop longue pour être recopiée sur HN ; elle prenait la forme d’un rapport comparant, sous forme de tableaux et avec des sources, le FCC, l’ILC, le CLIC, le Muon Collider, le CEPC/SppC, etc., selon l’énergie prévue, le mode de collision, le calendrier, les coûts, les défis techniques, les objectifs de physique, le soutien international, l’impact environnemental et les trajectoires de mise à niveau à long terme
Je me demande si cette capacité est vraiment une condition préalable à l’AGI et à l’ASI
Le raisonnement, la résolution de problèmes et la vérification de recherches relèvent tous, fondamentalement, d’une forme de pensée structurée. La recherche reste un domaine où l’importance de cette capacité est discutable, car une preuve valable ne vient pas d’une réponse bien présentée, mais des résultats d’exécution
Par exemple, on peut enquêter autant qu’on veut sur le meilleur aspirateur sur Internet : tant qu’on ne l’a pas essayé soi-même, on reste piégé entre le marketing, les faux avis et les influenceurs. Les sciences sont ennuyeuses, donc elles peuvent être un peu protégées de ce genre de problème, mais il est effrayant d’imaginer qu’un laboratoire pharmaceutique puisse remplir Internet d’articles de blog personnalisés contenant des « résultats de recherche » médicaux haut de gamme afin de créer l’ambiance académique qu’il souhaite. À un certain moment, Internet pourrait devenir totalement indigne de confiance, et ce moment pourrait arriver bientôt
Avec l’explosion du texte généré, la valeur de la recherche risque de beaucoup diminuer à cause de l’énorme masse de déchets informationnels. Cela pourrait rester quelque chose que l’on faisait à l’époque où Internet était encore « réel »
Il y a quelque temps, j’ai cherché un article avec de vraies mesures pour comparer Hydroflask, Klean Kanteen et Thermos sur les boissons chaudes/froides, mais la plupart des résultats Google étaient des comparatifs génériques sans données dures. Et pourtant, des articles du genre « Hydroflask est meilleur pour les boissons chaudes » apparaissaient en haut des résultats
La question clé est de savoir si cet outil pourra ignorer ce genre d’articles et ne s’appuyer que sur ceux qui contiennent de vraies expériences, et s’il pourra filtrer les résultats dupliqués, par exemple quand plusieurs blogueurs reprennent l’expérience menée par une seule personne
Une AGI devrait être capable d’accomplir ce genre de tâches, et plus le diagramme de Venn de ces capacités s’étend, plus on peut cerner ce qui pourrait constituer le mécanisme fondamental de l’AGI. Moravec parlait de l’image d’un relief des capacités humaines progressivement submergé par les capacités de l’IA ; on saura que l’on a atteint une véritable IA générale lorsque l’IA pourra, en pratique ou en principe, faire tout ce que les humains peuvent faire. Deep Research n’est qu’une île de plus en train d’être recouverte par cette inondation
Si j’ai bien compris le graphique, le taux de réussite aux tests internes semble n’être que de 20 %. Si c’est le cas, cela veut-il dire qu’après avoir attendu 30 minutes et payé cher, il faut encore fouiller dans un long mur de texte qui a de grandes chances d’être globalement faux ?
Si le risque d’hallucination n’est pas négligeable, cela fait trop de contenu à vérifier d’un coup. Le processus devrait être beaucoup plus itératif, à mon avis
Autrement dit, ce ne sont pas des requêtes ordinaires, mais des problèmes proches de benchmarks mathématiques de pointe
Dans les cas où, comme dans la vraie recherche, le travail préparatoire dépasse le volume du résultat final, cela peut conceptuellement bien convenir. En regardant rapidement les benchmarks, on peut imaginer dépasser 50 % par requête vers la fin de l’année, et on dirait que les performances doublent à chaque une ou deux générations de modèles
Dans la blogosphère, il existe des spécialistes reconnus dans des domaines étroits, ou des personnes célèbres dans leur domaine, et il y a aussi beaucoup plus de gens qui écrivent des articles utiles. Au minimum, ils écrivent dans l’idée que d’autres humains les liront
Mais si tous les lecteurs deviennent des bots, je me demande s’ils continueront à écrire. On a l’impression que l’Internet mort approche
Malgré tout, en tant qu’auteur, il est séduisant de contribuer à un monde de connaissances facilement accessible quand les gens veulent écrire. Il n’est plus nécessaire de fouiller péniblement des articles dont seul le titre semble pertinent, et ce n’est pas grave si d’autres personnes n’ont pas à lire laborieusement mon article
Je me demande si quelqu’un a réellement accès à cette fonctionnalité. Le site indique qu’elle est disponible pour les utilisateurs Pro à partir d’aujourd’hui, mais même avec un compte d’entreprise en Pro, je ne vois pas l’option Deep Research dans le composeur de messages
Quand on ouvre n’importe quel modèle, une étiquette
(Deep research)apparaît dans le champ de saisie, à côté de l’option de recherche web. Je n’ai pas vidé le cache ni rien de ce genreAvis sur Hacker News
Chaque année, on pense que les standards de qualité logicielle ne peuvent pas tomber plus bas, et pourtant on se rend compte à chaque fois qu’on avait tort
Moi aussi, j’éprouve du plaisir à faire de petits projets de cette manière
Cette approche donne l’impression d’un livrable produit par quelqu’un qui code en mangeant
J’ai peur que commencer à coder de cette façon fasse régresser la capacité à résoudre des problèmes difficiles
On voit de plus en plus de développeurs natifs de l’IA qui apprennent dès le départ de cette manière
Des outils de type « WYSIWYG modifiable en langage naturel » risquent d’avoir une falaise de complexité brutale, comme les limites des outils RAD
Certains disent qu’« on ne devrait pas apprendre comme ça », mais je pense qu’il est important d’ajuster le niveau de finition à l’effort fourni
Je pense que pour le CSS, le Vibe Coding suffit largement