Les 5 pièges de l’ingénierie des agents IA

Les habitudes de l’ingénierie logicielle traditionnelle (déterministe, à contrôle strict) deviennent au contraire un frein dans le développement d’agents IA (probabiliste, centré sur la flexibilité).

• Selon Philipp Schmid de Hugging Face, plus un développeur est senior, plus il tente d’« éliminer par le code » l’incertitude des LLM, ce qui le rend plus lent qu’un junior.
• Métaphore : il faut passer du rôle d’aiguilleur/contrôleur (traditionnel) à celui de dispatcher (agent).

1. Le texte est le nouvel état (State)
   • Piège : forcer une entrée en langage naturel dans des données structurées (par ex. true/false) fait perdre le contexte.
   • Solution : conserver le feedback (par ex. « approuvé, priorité au marché américain ») sous forme de texte pour permettre des ajustements dynamiques.

2. Céder le contrôle
   • Piège : hardcoder le flux (par ex. le parcours de résiliation d’abonnement) empêche de répondre aux interactions non linéaires.
   • Solution : faire confiance à l’agent (LLM) pour interpréter l’intention à partir du contexte.

3. Une erreur n’est qu’une entrée
   • Piège : interrompre le programme à la moindre erreur (approche traditionnelle) gaspille des exécutions coûteuses.
   • Solution : fournir l’erreur comme feedback afin que l’agent tente une auto-récupération.

4. Passer des tests unitaires aux evals
   • Piège : appliquer des tests binaires (TDD) à un système probabiliste n’a pas de sens (il existe une infinité de réponses valides).
   • Solution : gérer la variabilité avec la fiabilité (Pass@k), la qualité (LLM Judge) et la traçabilité (Eval).

5. Les agents évoluent, pas les API
   • Piège : utiliser des API pensées pour les humains (contexte implicite) provoque des hallucinations chez les agents.
   • Solution : clarifier avec un typage sémantique détaillé (par ex. user_email_address) et des docstrings. Les agents peuvent s’adapter aux changements d’outils.

Conclusion

Il faut accepter la probabilisation et la gérer par les evals et l’auto-correction. « Faire confiance, mais vérifier » : l’essentiel n’est pas de bâtir un système rigide, mais un système résilient. (Source originale : « Why (Senior) Engineers Struggle to Build AI Agents » de Philipp Schmid)