La dilution des responsabilités

Structure d’évitement de la responsabilité

• Dans The Unaccountability Machine, Dan Davies soutient que les organisations forment des « structures d’évitement de la responsabilité ». Ce sont des structures qui absorbent ou rendent floues les conséquences des décisions, de sorte que personne ne puisse en être directement tenu responsable.
• Par exemple, si un cadre dirigeant d’une chaîne hôtelière décide de réduire le personnel de ménage, cela peut améliorer les chiffres dans les états financiers. Mais lorsqu’un client essaie de s’enregistrer et que la chambre n’est pas prête, le personnel ne sait pas non plus quand elle le sera. Il n’y a personne auprès de qui se plaindre, ni aucun moyen de signaler que cette décision a ruiné les plans du client. La responsabilité disparaît, perdue pour toujours.

Comment fonctionne une structure d’évitement de la responsabilité

• Pour qu’une telle structure fonctionne, il faut bloquer le feedback. Autrement dit, il faut empêcher que le retour des personnes affectées par une décision n’influence le fonctionnement du système.
• Lorsqu’une assurance santé refuse une procédure, lorsqu’une compagnie aérienne annule un vol, lorsqu’une administration déclare qu’une personne n’est pas éligible à des prestations, lorsqu’un investisseur ordonne à toutes ses entreprises d’intégrer l’IA dans leurs applications, ces structures d’évitement de la responsabilité sont partout.
• Cela suppose qu’une décision a effectivement été prise. Un autre mécanisme de ces structures est que la décision elle-même se prolonge en chaîne, au point que son origine finit par disparaître.

Ce que signifie la responsabilité

• Il vaut la peine de réfléchir un instant à ce qu’est la « responsabilité ». Davies propose une « loi fondamentale de la responsabilité » : le degré auquel on peut modifier une décision est aussi le degré auquel on peut en assumer la responsabilité.
• Selon la définition de la responsabilité donnée par Sidney Dekker, la responsabilité est « une explication de la manière dont quelque chose s’est produit, des conditions qui l’ont rendu possible, et des raisons pour lesquelles cette décision semblait bonne à ce moment-là ». C’est une condition préalable à l’apprentissage nécessaire pour prendre de meilleures décisions.

Comparaison avec l’IA

• Confier des décisions à l’IA est un moyen pratique de créer des structures d’évitement de la responsabilité. Mais des organisations de toute taille, qu’il s’agisse d’entreprises ou de gouvernements, savent déjà très bien mettre en place de telles structures.
• L’évitement de la responsabilité offert par l’IA n’est pas un service nouveau, mais une extension. Cela ne rend pas la situation moins inquiétante, mais peut fournir un indice utile. Si les efforts pour obliger les entreprises à rendre des comptes ont échoué, il y a peu de chances qu’ils réussissent face aux algorithmes. Il faut de nouvelles approches.

Résumé de GN⁺

• Cet article offre un éclairage sur la manière dont les organisations construisent des structures pour échapper à la responsabilité. C’est particulièrement utile pour comprendre comment des technologies comme l’IA peuvent étendre cet évitement.
• Les structures d’évitement de la responsabilité fonctionnent en coupant le lien entre ceux qui prennent les décisions et ceux qui en subissent les conséquences.
• L’IA peut rendre cet évitement encore plus facile, mais il ne s’agit pas d’un phénomène nouveau : c’est une extension d’un problème existant.
• Ce sujet peut être intéressant pour réfléchir à l’amélioration des structures de responsabilité dans les organisations et aux moyens de prendre de meilleures décisions.