Pourquoi l’aide à la décision par IA (DSS) échoue : l’absence de conception de la confiance

1. Conclusion

• Si de nombreux systèmes d’aide à la décision par IA (DSS) échouent sur le terrain, ce n’est pas à cause des performances du modèle, mais parce que la « confiance n’a pas été conçue ».
• Cet article redéfinit la confiance non comme une émotion ou une question d’UX, mais comme un dispositif d’anticipation en situation de risque et comme un « contrat », et explique pourquoi l’approche consistant à « augmenter la confiance » produit au contraire non-usage et mauvais usage.

2. Éléments à l’appui

• Le cœur du problème de confiance réside dans la confusion entre trust (attitude de l’utilisateur) et trustworthiness (capacité réelle)
• Les utilisateurs ne font pas aveuglément confiance à l’IA ; ils font confiance à des contrats précis, comme l’exactitude, l’équité ou la responsabilité
• Si le contrat et les limites ne sont pas explicités, l’interface, l’autorité ou le ton des explications peuvent créer une confiance injustifiée, menant à des incidents
• Le rôle de l’explicabilité (XAI), lui aussi, n’est pas d’« amplifier » la confiance, mais de corriger la dépendance ou la suspicion

3. Mise en pratique (améliorations)

• Pour celles et ceux qui conçoivent ou déploient un AI-DSS, la perspective change : au lieu de se demander « comment augmenter la confiance ? »,
  il faut se demander « en quoi doit-on faire confiance, et à quel moment faut-il douter ou suspendre son jugement ? ».

4. En une phrase

• La cause de l’échec des AI-DSS n’est pas la performance, mais la conception de la confiance ; la solution consiste à concevoir autour du contrat, de la vulnérabilité et de l’ajustement.