Comment programmer avec les LLM

• Article qui résume une année d’expérience de programmation avec des LLM (grands modèles de langage)
• Les LLM ont amélioré la productivité, au point qu’il est difficile de revenir à une façon de programmer sans eux
• L’auteur se concentre surtout sur l’environnement de programmation Go et développe un outil appelé sketch.dev

Contexte

• Tout est parti d’une curiosité pour les nouvelles technologies.
• Fascination pour la capacité des LLM à générer des réponses complexes à des questions ou à écrire du code
• Ils suscitent un intérêt et un sentiment de potentiel comparables à ceux des débuts d’Internet
• Constat du bénéfice net apporté par un outil qui génère du code « globalement correct », et effort pour l’exploiter de manière concrète

Principaux cas d’usage

1. Autocomplétion (Autocomplete)

   • La prise en charge en autocomplétion des tâches de codage fréquemment répétées améliore la productivité
   • En particulier, les modèles FIM (Fill-In-the-Middle) sont indispensables pour les tâches du quotidien

2. Remplacement de la recherche (Search)

   • Pour certaines questions de programmation précises (par ex. régler l’opacité d’un bouton en CSS), ils répondent plus justement qu’un moteur de recherche
   • Les réponses des LLM peuvent être erronées, mais l’auteur les utilise en acceptant cette limite

3. Programmation pilotée par le dialogue (Chat-driven Programming)

   • Le domaine le plus difficile, mais aussi le plus précieux.
   • Les LLM prennent en charge des tâches initiales comme la création de nouveaux fichiers ou la recherche de bibliothèques.
   • L’objectif de la programmation conversationnelle est de réduire les frictions actuelles et de rendre les capacités des LLM plus conviviales

Le cœur de la programmation conversationnelle

• Pourquoi utiliser le dialogue ?

  • Utile pour fournir un premier brouillon quand l’énergie baisse au fil de la journée
  • Il est plus efficace de corriger un premier brouillon que de tout écrire depuis zéro

• Méthode de travail avec un LLM

  1. Définir un objectif de travail clair et concis
  2. Lire, valider et corriger le code
  3. S’appuyer sur les erreurs du compilateur pour résoudre rapidement les problèmes

• Rédiger des tests efficaces

  • Les LLM sont très enclins à écrire des tests et peuvent aider à mettre en place un environnement de test plus rigoureux
  • Au-delà des tests basés sur des exemples, ils peuvent aussi être étendus à des fuzz tests

Exemple : échantillonneur de quartiles

• Objectif : écrire en Go un algorithme qui échantillonne les quartiles d’un flux de données
• Processus
  1. Rédiger un premier brouillon avec le LLM
  2. Améliorer le code en corrigeant les erreurs de compilation
  3. Réécrire le code de test pour obtenir une structure plus lisible

Possibilités de nouvelles structures de code

• Des packages plus petits, davantage de tests

  • Des packages plus petits fournissent un contexte de code plus clair, utile à la fois pour les LLM et pour les humains
  • Ils augmentent les chances d’avoir des tests indépendants et une compilation réussie

• Exemple : wrapper d’API

  • Il est recommandé d’utiliser un wrapper léger qui n’implémente que les parties nécessaires, plutôt qu’une grande bibliothèque officielle
  • Cela réduit les coûts de maintenance et d’apprentissage

Orientation future : sketch.dev

• Un IDE Go pour les LLM
  • Fournit un environnement de programmation centré sur les LLM
  • Prend en charge le retour automatisé sur les tests, la correction des erreurs du compilateur, l’intégration des modules Go, etc.
  • Renforce la collaboration entre l’humain et le LLM pour offrir un environnement plus productif

[GN⁺]

Avis sur Hacker News

• L’auteur est déjà un ingénieur logiciel de niveau mondial, ancien employé de Google et cofondateur/CTO de Tailscale. Il est impressionnant de voir que les LLM le rendent plus productif.

  • Les LLM sont utiles pour esquisser de nouvelles idées.
  • Autrefois, il allait chercher des implémentations dans des bases de données, alors qu’aujourd’hui les LLM les génèrent en temps réel.

• Les LLM réduisent l’énergie nécessaire pour démarrer une tâche.

  • Ils abaissent la barrière quand on veut essayer quelque chose de nouveau.
  • Ils n’ont pas la profondeur d’un humain, mais disposent d’un savoir très large.
  • Ils sont utiles aux personnes qui programment dans des domaines variés.

• Quand on utilise des LLM, il faut s’en servir uniquement dans des domaines que l’on connaît bien.

  • Ils ne font gagner du temps que si l’on peut facilement repérer ce qui est incorrect.
  • Ils aident aussi pour la recherche.

• Les LLM ont du potentiel comme outils de développement logiciel.

  • sketch.dev fournit dès la première tentative des exemples propres.
  • Il faut des LLM entraînés en adéquation avec la documentation officielle du langage.
  • L’humanisation des LLM met mal à l’aise.

• C’est similaire à l’utilisation d’un moteur de recherche.

  • Il est important d’utiliser les bons mots-clés.

• On ne ressent pas d’envie particulière d’utiliser des LLM.

  • On prend plaisir au processus consistant à coder soi-même.
  • Les LLM peuvent augmenter les coûts.

• Pour les non-programmeurs, les LLM sont d’une grande aide.

  • Ils réduisent fortement le temps nécessaire pour écrire du code.
  • Ils sont utiles pour des projets personnels.

• Les LLM sont utiles pour écrire des applications simples.

  • Si l’on décrit un produit minimum viable, ils peuvent générer du code.
  • La dette technique peut s’accumuler rapidement.

• Les LLM aident les personnes qui programment comme loisir.

  • Ils aident à mettre en place la structure d’un projet et à générer du code.
  • Cependant, des instructions ambiguës peuvent causer des problèmes.

• Les LLM sont principalement utilisés pour l’autocomplétion et la recherche.

  • ChatGPT est utile pour optimiser du code existant.