Agents IA : plus que de « nouvelles fonctionnalités », il faut une « fiabilité accrue »

• Pourquoi la réservation de vols est-elle devenue le « Hello World » des démos d’agents IA ?
  • Les utilisateurs préfèrent déjà une UX aboutie (par ex. Google Flights) plutôt que de laisser l’IA réserver un vol à leur place
  • Une seule erreur peut déclencher un véritable enfer de service client
  • Un système intuitif et prévisible est en réalité plus innovant
• L’IA en est encore à ses débuts, et les utilisateurs attendent avant tout de la cohérence et de la prévisibilité
  • Exemple : un système à 80 % de précision mais aux résultats cohérents peut être acceptable
    À l’inverse, une précision irrégulière de 90 % détruit la confiance
  • Beaucoup de projets IA passent cela sous silence et visent des démos tape-à-l’œil et des fonctionnalités excessives → au final, perte de confiance
• De plus en plus d’IDE perdent en transparence
  • Les utilisateurs ne savent plus ce que l’IA est en train de faire
  • Exemple : l’incident devenu viral sur Reddit où Cursor a supprimé l’ensemble du travail
    • Le manque de maîtrise du versioning par l’utilisateur a aussi joué, mais la vraie cause relève de la conception UI/UX
    • Une bonne conception doit prévenir les erreurs, expliquer clairement le comportement de l’IA et offrir une fonction d’annulation
• À ses débuts, Cursor :
  • proposait une interaction légère et transparente via une interface de tab-completion
  • a gagné en popularité grâce à une approche qui construisait progressivement la confiance des utilisateurs
  • un design simple et réversible s’est révélé efficace pour réduire la méfiance envers l’IA
• Devin, qui a levé 200 millions de dollars, vise un « agent entièrement autonome »
  • Système complexe, réponses lentes, résultats imprévisibles : la confiance s’effondre
  • Une approche trop ambitieuse finit au contraire par désorienter les utilisateurs

Rapidité vs fiabilité : le dilemme des équipes de développement IA

• Les équipes IA doivent choisir entre :
  • aller vite au risque de faire des erreurs
  • faire passer la fiabilité et la stabilité en priorité
• La réponse consiste à se concentrer sur des fonctionnalités capables d’obtenir d’excellents résultats sur un périmètre réduit, puis à les améliorer de façon itérative et régulière

Principe clé : la prévisibilité avant la complexité

• Mieux vaut se concentrer sur des tâches bien comprises que sur des systèmes complexes
• Les agents IA restent profondément transformateurs, mais trois éléments doivent rester au centre :
  • fiabilité
  • transparence
  • prévisibilité

Workflow vs agent

• Le cadrage d’Anthropic : « Si une tâche peut être exprimée sous forme de workflow, mieux vaut construire un workflow plutôt qu’un agent »
  • Un workflow est prévisible, contrôlable et simple
  • Les agents sont complexes et difficiles à contrôler, et ne devraient donc être utilisés que dans de véritables situations dynamiques

[GN⁺]

Avis Hacker News

• L’agent de « réservation de vols » est désormais devenu un sujet de plaisanterie. Il a même été mentionné dans la keynote récente de l’événement AI Engineer de Swyx

  • Je pense que cet article sous-estime la difficulté du problème
  • Dans une interface où des humains saisissent des informations ou dialoguent, les possibilités d’erreur sont infinies
  • Les humains sont mauvais pour s’exprimer clairement et ont aussi du mal à comprendre précisément ce que le logiciel peut faire

• Des chercheurs de Google DeepMind travaillent actuellement sur des moyens d’améliorer la fiabilité des agents

  • Des évaluations rigoureuses représentatives du comportement des utilisateurs sont essentielles
  • Ils ont publié une démonstration de raisonnement avancé d’un agent sur les 80 000 pages des dossiers sur l’assassinat de JFK
  • Même sur un petit volume de fichiers, l’écart de fiabilité/précision avec les grands acteurs de l’IA est important

• La réservation de vols est une tâche qu’on ne peut pas confier à une IA

  • Les voyages en famille comme les voyages individuels demandent toutes sortes d’astuces
  • Il faut prendre en compte de nombreux éléments : le site officiel, la comparaison des prix, la vérification des dates, les points de carte bancaire, etc.

• Dans bien des cas, les gens ont tendance à vouloir faire entrer l’IA dans des workflows existants

  • Les workflows existants disposent déjà d’une UX/UI optimisée
  • Utiliser l’IA n’est pas forcément la solution au problème

• Mon expérience avec Cursor m’a amené à la conclusion que la fiabilité est primordiale

  • Les sorties des modèles rapides demandent davantage de corrections
  • Il est important d’utiliser explicitement certaines bibliothèques

• Je pense que, dans les avancées technologiques des 20 dernières années, la fiabilité est plus importante

  • On n’a besoin que de quelques nouvelles fonctions comme les smartphones, les itinéraires de conduite ou le stockage cloud
  • Désormais, ce qui compte, c’est l’autonomie de la batterie et les fonctions de contrôle parental sur les appareils des enfants

• Un commentaire dans un fil Reddit sur l’état actuel de la programmation avec l’IA résume bien ce que je ressens

  • De nouveaux ingénieurs qui débutent en programmation à cause de l’IA passent à côté des fondamentaux indispensables
  • Mais cela me rassure de voir qu’il reste encore de la place pour moi

• J’ai pour principe que, lorsque l’IA écrit du code, je dois au moins être capable de comprendre ce code

  • Je ne peux pas suivre l’approche des « vibe coders » qui ne comprennent pas le code écrit par l’IA

• Je pense que le workflow est plus important que les agents

  • On pourra utiliser des workflows quand les agents seront prêts à exécuter des tâches avec une grande précision
  • Je chercherai des moyens de créer des workflows efficaces, précis et faciles à diagnostiquer

• Google Flights offre déjà une UX parfaite

  • Je pense que, lorsqu’on utilise un agent IA, la recherche web est plus fiable et plus rapide
  • Je ne suis pas certain que l’IA devienne vraiment utile, et je me demande même si les tests ont été correctement menés