Le « puits de responsabilité » des organisations qui absorbe les demandes de comptes
(aworkinglibrary.com)- The Unaccountability Machine de Dan Davies estime que les organisations créent des puits de responsabilité qui absorbent ou brouillent les conséquences des décisions, de sorte que personne ne puisse en être directement tenu responsable
- Ces structures fonctionnent lorsqu’elles rompent les liens empêchant le retour d’information des personnes affectées par les décisions de revenir dans le fonctionnement du système
- La réduction du personnel de ménage dans les hôtels, le refus d’actes médicaux par les assureurs, l’annulation de vols, les décisions d’inéligibilité à des prestations publiques, ou les exigences d’investisseurs demandant d’intégrer de l’IA dans des apps sont autant d’exemples de rupture du lien entre décideurs et victimes
- Comme dans l’affaire Dominion Systems vs Fox News, lorsqu’une compréhension implicite selon laquelle les indicateurs d’audience priment sur tout pousse les décisions suivantes sans décision explicite, l’origine de la décision devient floue et il devient difficile de demander des comptes
- Déléguer des décisions à des algorithmes facilite la création de puits de responsabilité, mais les grandes organisations comme les entreprises et les administrations sont déjà habituées à ce type de structure : l’IA est donc plutôt un moyen d’amplifier le blanchiment de responsabilité
Comment fonctionne un puits de responsabilité
- Un puits de responsabilité est une structure organisationnelle qui absorbe ou masque les conséquences d’une décision, rendant impossible de tenir directement quelqu’un pour responsable
- Si un cadre supérieur d’une chaîne hôtelière réduit le personnel de ménage, les chiffres comptables peuvent s’améliorer, mais les clients qui ne peuvent pas s’enregistrer parce que les chambres ne sont pas prêtes n’ont aucun moyen de se plaindre auprès du décideur ni de faire remonter l’effet de cette décision
- Le personnel de la réception peut offrir des bons, mais ce dont le client a besoin, c’est d’une chambre
- Le canal de retour d’information entre le décideur et les personnes affectées disparaît
- Selon le critère de Davies, pour qu’un puits de responsabilité fonctionne, il faut couper le lien afin que le retour d’information des personnes touchées ne puisse pas être réintégré au fonctionnement du système
- La même structure se répète dans de nombreuses situations
- Quand une assurance santé refuse un acte médical
- Quand une compagnie aérienne annule un vol
- Quand un organisme public déclare quelqu’un inéligible à des prestations
- Quand un investisseur pousse les sociétés de son portefeuille à intégrer ce qu’on appelle de l’IA dans leurs apps
L’autorité et l’explication qui rendent la responsabilité possible
- La responsabilité est liée à l’étendue de la capacité à modifier une décision
- Davies considère que le degré auquel on peut modifier une décision correspond au degré auquel on peut en être tenu responsable
- La définition de l’accountability de Sidney Dekker relie la responsabilité à une « explication que l’on peut formuler »
- Pour apprendre à prendre de meilleures décisions par la suite, il faut comprendre comment les choses se sont produites, quelles conditions étaient réunies, pourquoi cela semblait alors être une bonne décision, et qui était impliqué
- En combinant ces deux cadres, rendre des comptes exige à la fois le pouvoir de changer les choses et un récit de la manière dont ce pouvoir a été utilisé
- Confier des décisions à des algorithmes facilite la création de puits de responsabilité
- Mais les entreprises, les administrations et les organisations situées entre les deux savent déjà très bien créer des puits de responsabilité
- Le blanchiment de responsabilité offert par l’IA n’est pas entièrement nouveau : il en est une version amplifiée et renforcée
- Les méthodes qui ont échoué à rendre les entreprises responsables auront encore moins de chances de réussir face aux algorithmes ; il faut une autre approche
1 commentaires
Avis sur Hacker News
J’ai vécu quelque chose de similaire dans un aéroport/avec une compagnie aérienne en Allemagne, et j’ai pensé la même chose.
L’aéroport était entièrement automatisé, donc l’enregistrement se faisait en libre-service et je n’ai interagi qu’avec des ordinateurs ; quand j’ai inséré ma carte d’embarquement, la machine a simplement imprimé un papier indiquant que mon siège côté couloir avait été remplacé par un siège du milieu. J’ai essayé jusqu’au bout de trouver quelqu’un à qui protester, mais l’ordinateur ne répondait que selon la manière prévue par son UI, et les programmeurs ne semblaient pas avoir envisagé ma situation. Le personnel au sol ne pouvait rien faire non plus, car ce n’était pas dans son périmètre, et le questionnaire arrivé plus tard concernait un autre segment, si bien qu’il était difficile d’y formuler correctement ma réclamation.
L’emplacement du bus de remplacement n’était indiqué ni dans l’application ni nulle part dans la gare, et le chauffeur du bus s’est agacé contre une personne âgée qui demandait si elle pourrait prendre sa correspondance, en disant que ce n’était pas son problème. Le bus était sombre, les vitres rendues opaques par la buée, sans annonce ni affichage des arrêts, et il n’a pas été chauffé pendant une heure. Cette semaine-là, ma carte SIM a été supprimée et un colis a aussi disparu ; même consigner la quantité de « ce n’est pas mon problème » rencontrée auprès des hotlines de support client est désormais devenu, pour moi, le problème de quelqu’un d’autre.
La seule personne que j’ai pu trouver était un agent de sécurité, qui m’a simplement dit d’appeler le numéro affiché sur la machine. La personne au téléphone ne parlait pas anglais, et mes 50 € sont quelque part, mais le coût pour les récupérer serait probablement supérieur à cette somme.
Il y a quelque temps, Amazon indiquait qu’un colis avait été livré alors qu’il était introuvable, et il n’y avait aucun moyen d’obtenir de l’aide ; la FAQ disait seulement de vérifier dans les buissons. Les suggestions de recherche affichaient plusieurs formulations du type « colis indiqué livré mais absent », ce qui rendait la chose encore plus agaçante ; aujourd’hui c’est un peu mieux, mais cela reste similaire.
Il faut d’abord tenter de résoudre le problème de bonne foi et en conserver la trace, afin de s’en servir comme preuve si l’affaire va jusqu’à l’audience. Ensuite, une fois la demande déposée, les entreprises reculent généralement immédiatement, et cela permet de susciter un vrai service client dans la seule langue qu’elles comprennent.
Dans la bureaucratie de ce film, il y avait tout de même des humains capables de ressentir de la culpabilité ; ici, comme l’intervention humaine directe n’est plus nécessaire, cela peut devenir dystopique à une échelle bien plus grande.
Je pense depuis longtemps que l’une des fonctions principales des entreprises est de diluer la responsabilité. Le nom responsabilité limitée existe pour une raison, et comme on peut créer des sociétés à volonté, il est facile de repousser la responsabilité dans des recoins obscurs.
C’est donc une raison forte de ne pas considérer les entreprises comme des personnes. Les personnes durent longtemps et assument des responsabilités ; on ne peut pas les créer ou les supprimer à volonté.
Les entreprises fonctionnent ainsi aussi dans leur économie interne ou dans leurs relations avec leurs partenaires. Un centre de coûts paie de l’argent et délègue la responsabilité.
Je trouve étrange depuis longtemps qu’on n’en parle pas davantage. Tout le monde semble s’y être trop habitué. À mon avis, il faudrait supprimer le concept même d’amende infligée à une entreprise et passer à un système où les personnes ayant commis des actes illégaux sont poursuivies pénalement.
Weapons of Math Destruction de Cathy O’Neil (2016, Penguin Random House) est un bon texte compagnon sur ce concept, vu du côté de ceux qui conçoivent ou supervisent les systèmes.
Cathy soutient que, dans certains contextes, l’usage d’algorithmes est nocif, rend possibles à une nouvelle échelle des systèmes qui ne rendent de comptes à personne, et doit être encadré.
https://www.penguinrandomhouse.com/books/241363/weapons-of-m...
Remplacez l’algorithme par un vide cérémoniel, ou par une situation où le statut de policier confère une immunité de fait contre la responsabilité civile et les poursuites pénales, et cela fonctionne de la même manière. Ce qui rend possibles des systèmes nocifs et irresponsables, c’est en fin de compte le choix humain de ne pas demander de comptes à d’autres humains, quel qu’en soit le prétexte.
Cet exemple est mauvais, parce qu’il n’est pas factuel. Dans l’affaire Fox News contre Dominion, Rupert Murdoch a reconnu sous serment que « Fox avait parfois soutenu l’idée mensongère d’une élection volée », et qu’en sachant que cette affirmation était fausse, il avait choisi de ne pas donner pour consigne à la chaîne de dire le contraire.
Les communications internes des présentateurs de Fox montrent aussi qu’ils savaient que ce qu’ils disaient était faux. Cela correspond clairement à la définition du mensonge, et les « External Links » de Wikipédia contiennent de vrais documents judiciaires détaillant qui savait quoi, quand, et ce qui a été dit.
[1] https://www.npr.org/2023/02/28/1159819849/fox-news-dominion-...
[2] https://www.nbcnews.com/politics/elections/dominion-releases...
[3] https://www.dictionary.com/browse/lie
[4] https://en.m.wikipedia.org/wiki/Dominion_Voting_Systems_v._F...
Je soupçonne que l’une des grandes raisons pour lesquelles l’automatisation, et en particulier l’app-ification, attire autant les dirigeants et les C-level, est qu’elle permet de rompre la chaîne de responsabilité.
Beaucoup d’entreprises aujourd’hui ont une structure divisée entre une « couche managériale », où chefs de produit, développeurs et responsables des opérations maintiennent et améliorent l’infrastructure IT interne, une « couche logicielle », gigantesque infrastructure d’automatisation qui fait réellement tourner le travail quotidien, et une « couche ouvrière », où des chauffeurs Uber, livreurs ou employés d’entrepôt Amazon exécutent le travail physique avec de bas salaires et un fort turnover. Les travailleurs reçoivent presque toutes leurs consignes via des apps et des appareils, n’ont pas de contact avec la direction, et l’entreprise nie souvent même qu’ils soient des employés. Le point important est que la couche logicielle agit comme un pare-feu de responsabilité entre les deux couches : les plaintes des travailleurs ne remontent pas au-delà du logiciel, et les comportements abusifs peuvent être présentés comme de malheureuses erreurs logicielles.
La raison est que « ce sont les règles » ou que « c’est le système ». Personne ne semble savoir qui a fixé les règles ni qui a construit le système, et enquêter directement là-dessus relève presque des travaux d’Hercule, pour finir le plus souvent en perte de temps.
Ce qui a changé, c’est que ces instructions et procédures sont maintenant souvent exécutées par du logiciel et du matériel plutôt que par des humains. Le résultat final pour le client n’a pas autant changé qu’on pourrait le croire. Il reçoit toujours le même café ou le même taxi, simplement plus vite, moins cher ou un peu mieux ; et ces améliorations incrémentales étaient déjà possibles avant l’IT, grâce à la gestion produit interne et à l’amélioration des procédures organisationnelles.
C’est un texte qui donne beaucoup à réfléchir. Ce problème montre pourquoi les organismes publics de protection des consommateurs et les lois sont importants.
Si vous transitez par l’Europe ou voyagez avec une compagnie aérienne européenne, il existe une loi de l’UE qui prévoit environ 600 euros d’indemnisation lorsqu’un vol est retardé de plus de 3 heures ou annulé. C’est une bonne assurance : quoi que la compagnie puisse raconter comme absurdités à l’aéroport, vous pouvez obtenir une indemnisation, et la procédure pour toucher l’argent est assez simple. Elle fournit un chemin qui contourne le système de la compagnie aérienne et mène directement à l’indemnisation ; et comme les compagnies risquent de payer beaucoup trop d’amendes si elles n’opèrent pas correctement, cela peut aussi créer une vraie incitation. Pour éviter que les entreprises ne dressent des murs de chatbots entre elles et leurs clients, on a vraiment besoin de ce type de protections légales.
Je rencontre assez souvent ce genre de situation avec le nouveau système automatisé de télédéclaration de l’administration. Comme j’utilise un lecteur d’écran et qu’il m’est difficile d’utiliser un stylo et du papier sans aide, j’aimais plutôt ces systèmes au début, mais mon avis a un peu changé.
Sur du papier, on peut écrire n’importe quoi, et un humain vérifie si cela a du sens. Avec un ordinateur, ce n’est pas le cas : si les chiffres du formulaire doivent concorder entre eux, alors même dans des cas particuliers où, en réalité, ils divergent légèrement, il faut mentir à l’administration pour les faire correspondre. J’ai appelé le bureau local de l’administration concernée, et on m’a en gros suggéré à demi-mot de mentir à l’État. Le système est géré centralement, donc le bureau local n’a pas le pouvoir de le modifier ; même s’ils voulaient le corriger, eux non plus n’en ont pas l’autorité.
Quand j’étais étudiant en master STS, j’ai envisagé de faire un projet sur la manière dont le logiciel fonctionne comme une sorte de modulateur d’agentivité.
L’idée est qu’un individu assume un risque, le plus souvent le risque d’une transaction économique, tandis que l’essentiel des bénéfices revient au propriétaire du logiciel. Uber et les services connexes sont, à bien des égards, des dispositifs qui amènent des individus à assumer, contre une petite commission, un risque de perte à faible probabilité mais à fort impact.
La comparaison avec l’IA est évidente : déléguer la décision à un algorithme est une manière pratique de créer un point d’absorption de la responsabilité. Mon compte LinkedIn porte un indicateur qui m’empêche d’ajouter des liens « follow-me » à mon profil.
Personne dans l’équipe support ne sait pourquoi, ni depuis quand, ni quand cela changera. Nous vivons déjà dans ce monde.
Les organisations existent pour supprimer la responsabilité morale
Les juges, les jurés, les bourreaux, les pelotons d’exécution et les structures à responsabilité limitée entrent tous dans une boîte bien nette qui permet aux gens de dormir la nuit. Le juge se dit que le jury a tranché, le jury croit que le juge prononcera une peine juste, et l’exécutant croit que les deux groupes précédents ont fait leur travail. Ce type de système ne vise pas tant à empêcher une personne d’agir qu’à créer une série de relais, si bien qu’au moment où le gardien ferme la porte, toute implication dans la moralité du résultat a disparu. Le fait que, dans un peloton d’exécution, une seule arme parmi plusieurs soit chargée à balle réelle relève de la même structure. Les grandes institutions et organisations, les choses à grande échelle, sont totalement inhumaines ; on peut penser que le résultat serait différent si la personne qui rend le jugement exécutait aussi elle-même la peine.
Faire exécuter la peine par les jurés et rendre le juge responsable de l’incarcération créerait une énorme incitation inverse pour les personnes sadiques. On suppose à tort que juges ou jurés feraient preuve de plus d’empathie s’ils portaient eux-mêmes ce poids. En réalité, ce sont surtout des personnes à qui l’on ne voudrait pas confier ce genre de tâche qui risqueraient de s’en charger. À l’exception de l’usage de cartouches à blanc lors des exécutions, le reste du système protège davantage la personne condamnée que les gens qui en font partie.
On peut créer un parti politique qui soutiendrait que la séparation des pouvoirs a été une erreur, ou mieux encore, aller visiter l’un des dizaines de pays dirigés par un super-dictateur.