La méthode parfaite pour empêcher l’IA de mentir - leceipts

Quand on utilise des outils de codage par IA, on finit par remarquer une situation étrangement répétitive.

On décrit un bug
→ « Le problème est corrigé »
→ on exécute, et ça casse toujours

Ce n’est pas seulement un problème propre à l’IA,
c’est aussi un schéma familier dans les revues de code humaines.
• « Ça devrait sans doute marcher comme ça »
• « En local, ça fonctionne bien »
• « Je n’ai pas lancé les tests, mais ça a l’air bon »

Avec leceipts, l’idée est de résoudre ça non pas par l’attitude ou la culture,
mais par le processus.

À chaque modification de code, l’outil impose de consigner de façon structurée les éléments suivants :
• Root cause : pourquoi le problème s’est produit
• Change : quelle correction a réellement été apportée
• Recurrence prevention : comment éviter que le même problème se reproduise
• Verification : comment cela a été vérifié, et quel a été le résultat
• Remaining risk : ce qui n’a pas encore été confirmé

Le point clé ici, c’est « Verification ».
Il ne s’agit pas simplement d’écrire « j’ai testé »,
mais de consigner jusqu’à la méthode de vérification et ses résultats.

Une fois cette structure en place, plusieurs changements apparaissent

1. Réduction des affabulations de l’IA
   Au lieu de dire « fixed », il faut laisser le résultat réel de l’exécution
   → si rien n’a été lancé, cela se voit immédiatement
2. Hausse de la qualité des revues de code humaines
   Les descriptions de PR passent de l’« intuition » aux « preuves »
3. L’historique de débogage devient un actif
   Pourquoi ça a cassé et comment cela a été corrigé s’accumule
   → ce qui évite de répéter les mêmes problèmes
4. Le critère du « Done » devient clair
   correction ≠ terminé
   ce n’est terminé qu’une fois la vérification achevée

Ce qui est intéressant, c’est qu’il ne s’agit ni d’un nouveau framework de test, ni d’un outil complexe.

C’est simplement une approche qui
« change le processus de développement rien qu’en imposant une manière d’expliquer ».

À mesure que le codage avec l’IA se généralise,
on peut se dire qu’un tel « workflow centré sur la vérification » pourrait devenir la norme par défaut.