En introduction
- Quand le résultat d’un codage par IA ne vous satisfait pas, il est bien plus efficace de ne fournir en contexte que les informations strictement nécessaires à votre intention, plutôt que de consommer des tokens à l’aveugle.
- Même si la fenêtre de contexte du modèle s’agrandit, trop d’informations gênent au contraire l’IA pour repérer et comprendre ce que l’on attend d’elle.
- Voici 4 techniques que j’utilise pour obtenir des résultats plus satisfaisants d’un agent de code sur une base de code legacy. Elles dépendent peu des performances du modèle et constituent des méthodes pratiques pour économiser immédiatement du temps et de l’argent.
1. Explorer et comprendre avant d’implémenter
- Avant de résoudre un problème ou de modifier du code, il est avantageux d’investir du temps pour mieux comprendre le domaine et la base de code.
- Cela permet d’utiliser une terminologie technique plus précise et d’indiquer les bons fichiers à l’IA pour viser juste.
- À cette étape, il vaut mieux éviter de modifier le code et se concentrer sur l’accumulation de connaissances en posant des questions à l’IA.
2. Montrer du code à imiter
- Les LLM ont tendance à converger vers la moyenne ; il faut donc fournir de bons exemples de code pour élever la qualité du résultat.
- Plutôt que d’expliquer longuement les conventions de code par écrit, il est bien plus efficace de montrer un bon exemple en disant « écris-le comme cette fonction ».
- En particulier lors de la migration d’un pattern spécifique, si l’on convertit d’abord correctement quelques cas puis qu’on les montre à l’IA comme exemples, elle traite très bien le reste.
3. Mettre des scripts entre ses mains comme outils
- En donnant à l’IA des outils d’analyse statique, on peut compenser les limites basses des LLM et améliorer la qualité des résultats.
- De même, pour des tâches sujettes à des erreurs répétitives, comme un script qui retrouve des clés i18n, on peut prévenir efficacement les problèmes en transformant cela en script exploitable par l’IA.
- De façon similaire, pour des tâches d’extraction ou de transformation dont le pattern est clair, il est bien plus précis de faire écrire puis exécuter un script dédié plutôt que de demander à l’IA de les réaliser directement.
4. Corriger en amont du flux
- Plutôt que de demander de corriger un mauvais résultat a posteriori, il est plus avantageux d’améliorer dès le départ le « prompt » qui a produit ce résultat.
- Mieux encore, il est utile d’améliorer le processus qui produit les prompts (par exemple en écrivant d’abord du code d’exemple ou des tests).
- Et mieux encore, il faut améliorer le cerveau qui a conçu ce processus. Il faut revenir sur les expériences de ping-pong inutile avec l’IA et développer sa capacité à juger quand intervenir soi-même et quand utiliser l’IA.
Conclusion
- L’un des principaux benchmarks des agents est « combien de temps peuvent-ils travailler », mais en pratique, la plupart des utilisateurs — moi compris — n’ont pas encore la capacité de leur confier du travail jusqu’à leurs limites.
- Je pense que, à l’ère de l’IA, les talents les plus recherchés seront ceux qui savent « trouver des tâches à confier à un agent, lui donner les bons outils et le faire travailler longtemps avec un prompting adapté ».
- J’espère que les techniques présentées dans cet article aideront à s’entraîner pour devenir ce type de talent.
1 commentaires
Cela correspond à mon expérience !