Le siphon où disparaît la responsabilité, Accountability Sinks

• Accountability sink désigne un phénomène institutionnel où le jugement est remplacé par une procédure officielle : les décisions sont exécutées, mais la personne responsable et l’interlocuteur auprès duquel protester deviennent flous
• Les procédures créent de l’efficacité, de la sécurité et une mémoire organisationnelle, mais les règles imposées d’en haut peuvent encourager une conformité aveugle, même lorsque le terrain perçoit le problème
• Les cas des spermophiles éliminés dans un aéroport, des agents d’embarquement d’une compagnie aérienne, des limites de nom sur les cartes de crédit, de l’administration de la Shoah et du partage des tâches ménagères montrent tous le vide de responsabilité qui apparaît quand le jugement est absorbé par la procédure
• À l’inverse, la titularisation universitaire, la protection de la recherche à la manière de Xerox PARC, Bell Labs et DARPA, le capital-risque, ainsi que les blameless postmortems de Google SRE réduisent le poids de la responsabilité et permettent un meilleur jugement
• Dans une société complexe, les procédures ne peuvent pas disparaître ; l’enjeu est donc de concevoir des institutions où elles ne servent pas à cacher les personnes, mais à préserver le jugement du terrain

---

La structure de base de l’accountability sink

• Le livre de Dan Davies, The Unaccountability Machine: Why Big Systems Make Terrible Decisions — and How the World Lost Its Mind, appelle accountability sink le phénomène par lequel un jugement auparavant exercé par des personnes est remplacé par une procédure officielle
• Lorsqu’un sujet qui relevait d’un jugement humain direct devient une procédure, la décision prend moins la forme d’un choix délibéré de quelqu’un que celle d’un processus qui s’exécute
• Quand la procédure fonctionne mal, il devient facile que disparaissent à la fois la personne à blâmer et l’interlocuteur auprès duquel protester
• Les organisations ont de fortes incitations à transformer le jugement humain en procédure
  • Une décision peut susciter la controverse
  • Quand des intérêts sont en jeu, elle peut provoquer des réactions hostiles et du ressentiment
  • Une procédure impersonnelle permet d’appliquer répétitivement la même décision sans sentiment de responsabilité ni culpabilité

Le vide de responsabilité créé par les procédures

• En avril 1999, 440 spermophiles arrivés de Pékin sur un vol KLM à Schiphol Airport, près d’Amsterdam, n’ont pas pu être remis à un client à Athènes faute de documents d’importation nécessaires
  • Les mesures permettant de corriger l’erreur et de les renvoyer n’ont pas non plus pu être mises en œuvre
  • Face au problème de documents, le personnel de l’aéroport a placé les 440 animaux dans un broyeur industriel
  • L’ordre venait du département néerlandais de l’agriculture, de la gestion de l’environnement et de la pêche ; la direction de KLM a ensuite déclaré que cet ordre était « contraire à l’éthique par sa forme et par l’absence d’alternative praticable »
  • Les employés ont agi « correctement sur la forme » en suivant l’ordre, mais KLM a reconnu que cette décision était une assessment mistake
• Le seul véritable garde-fou de ce système était l’attente vague que les personnes chargées de l’élimination des animaux puissent refuser directement l’ordre si le résultat leur paraissait suffisamment grotesque
  • Il n’est pas courant qu’une personne travaillant dans un entrepôt reçoive l’autorité d’annuler un ordre gouvernemental pour des raisons éthiques
  • Attendre de quelqu’un qu’il obéisse aux ordres dans 99 % des cas puis, au centième, exerce soudainement un jugement indépendant n’est réaliste ni psychologiquement ni managérialement
• Un agent d’embarquement de compagnie aérienne annonce aux passagers de mauvaises nouvelles, comme un refus d’embarquement, mais la politique de l’entreprise lui laisse très peu de marge de manœuvre
  • Le client parle à une personne, mais il a en réalité affaire à des règles et procédures décidées à un niveau supérieur
  • Même s’il veut se mettre en colère, il est difficile de blâmer l’individu en face de soi, et l’entreprise parle alors d’une voix organisationnelle anonyme
• Dans l’exemple d’une société de cartes de crédit, le design de la carte en plastique n’autorise que des noms de 24 caractères maximum
  • Des employés ont signalé à l’équipe métier le problème des demandeurs ayant un nom long
  • L’équipe métier a choisi de rejeter les demandes plutôt que de redessiner la carte, au motif que la proportion concernée était très faible
  • Le demandeur ne peut pas obtenir de carte même avec un bon profil de crédit, n’entend pas la raison et a du mal à trouver un responsable auprès duquel protester
  • Un défaut technique s’est ainsi retrouvé recouvert par une procédure
• Le cas d’un couple qui répartit la vaisselle en alternant l’ordre chaque semaine montre que le même problème peut apparaître à petite échelle
  • Si l’un des deux tombe malade, la vaisselle s’accumule, mais l’autre ne se sent pas responsable au motif que ce n’est pas son tour
  • La personne à blâmer n’est pas claire non plus

La bureaucratie et les risques des procédures à grande échelle

• Les chercheurs sur la Shoah estiment que l’extermination de masse a été rendue possible parce que la haine populaire a été transformée en procédures administratives formalisées
• Séparer les Juifs du reste de la population et les concentrer en un seul lieu a été une étape clé vers l’extermination
  • En Bulgarie, les Juifs n’ont pas été rassemblés dans des ghettos ou des « camps de travail » régionaux, mais envoyés dans les campagnes pour aider aux travaux agricoles
  • Une fois dispersés dans tout le pays, il est devenu difficile de mener l’étape suivante consistant à les mettre dans des trains vers des camps de concentration
• La tâche de concentration des Juifs était essentielle au succès de l’extermination, mais les bureaucrates qui l’exécutaient n’avaient pas l’impression de tuer directement des personnes
  • Ils considéraient qu’ils effectuaient le travail administratif ennuyeux qu’ils faisaient chaque jour
• Les procès de Nuremberg laissent l’impression que « personne n’est responsable »
  • Beaucoup d’accusés n’avaient pas seulement obéi aux ordres, ils avaient aussi agi de leur propre initiative
  • Des recherches montrent aussi que les conséquences subies par les soldats allemands pour désobéissance à des ordres illégaux étaient étonnamment légères
  • Pourtant, comme des centaines de milliers de personnes ont participé à l’exécution de la Solution finale, il reste un sentiment d’arbitraire quant aux raisons pour lesquelles seuls certains ont été punis
• Dans un entretien avec l’historien Götz Aly, celui-ci affirme que si les mêmes critères avaient été appliqués en 1965, plus de 300 000 hommes et femmes allemands auraient dû être condamnés à la prison à vie pour complicité de meurtre
  • Même des employés de bureau, comme la secrétaire de la Wannsee Conference, avaient tapé les ordres, mais à l’époque on ne considérait pas qu’il fallait les envoyer en prison

Les avantages des procédures et le double visage de l’évitement de responsabilité

• Les procédures officielles sont le plus souvent utiles
  • Elles améliorent l’efficacité et créent des économies d’échelle en appliquant répétitivement les mêmes décisions
  • Elles améliorent la sécurité, comme lorsqu’un pilote vérifie une checklist avant le décollage
  • Elles stockent la mémoire organisationnelle en encodant sous forme d’étapes les leçons et solutions tirées de cas passés
• Mais au cœur de la bureaucratie, les procédures peuvent devenir plus qu’un simple outil d’efficacité : une technique pour gérer et éviter la responsabilité
• Le mécontentement actuel en Occident est lié à la colère de se sentir piégé dans des systèmes qui traitent les personnes non comme des humains, mais comme des pièces de machine
  • Les procédures prennent les décisions et, en cas d’échec, personne n’est là pour expliquer ou assumer la responsabilité
  • Quand l’État ou des entreprises privées transfèrent la responsabilité à des procédures impersonnelles sans offrir de recours, la démocratie elle-même peut sembler vidée de sa substance
• La défiance envers les experts, le scepticisme envers les juges et la tolérance à la corruption apparaissent différemment sous cet angle
  • L’expert peut être perçu comme le concepteur d’un système impersonnel
  • Le juge peut sembler plus attaché à la procédure qu’à la justice
  • La corruption est mauvaise, mais elle peut au moins apparaître comme une décision prise par une personne ayant un nom et un visage
• Les serveurs vocaux automatiques, les menus interminables et les expériences de support client où l’on ne parvient pas à joindre un humain renforcent cette anxiété

Quand l’allègement de la responsabilité produit de bons résultats

• Limiter la responsabilité est parfois un dispositif institutionnel intentionnellement nécessaire
• Le tenure universitaire rend de fait les scientifiques difficiles à licencier et leur donne la liberté de mener des recherches risquées ou non conventionnelles
  • Le chercheur a moins besoin de produire des résultats selon un calendrier fixé par un manager ou de s’excuser en cas d’échec
• Des institutions de recherche à succès comme Xerox PARC, Bell Labs et DARPA présentent un schéma similaire
  • Des managers y protégeaient les chercheurs des exigences d’utilité immédiate, de la surveillance bureaucratique et de la nécessité de justifier continuellement leur travail auprès de la hiérarchie
• Le modèle du capital-risque allège lui aussi la responsabilité des fondateurs de startups
  • On attend des fondateurs qu’ils essaient de réussir, mais ils ne sont pas mis en cause parce qu’ils ont échoué
  • Le risque d’échec est déjà intégré dans le prix par le VC
  • Le VC fonctionne comme une sorte d’accountability sink entre les propriétaires du capital et les fondateurs

Le terrain qui a dû enfreindre les règles

• Après la fusillade de Las Vegas du 1er octobre 2017, des centaines de patients blessés par balle sont arrivés en même temps aux urgences d’un hôpital
  • Le personnel médical a réagi en enfreignant à plusieurs reprises les règles et procédures établies
  • Dans les manuels, le triage doit être assuré par le médecin le plus expérimenté, mais sur place il a été confié à une infirmière
  • Lorsque la procédure d’authentification Pyxis a bloqué le flux, de l’etomidate, de la succinylcholine et du sang O negative ont été placés à proximité du terrain
  • Faute de ventilator en nombre suffisant, l’équipe a utilisé un Y tubing pour connecter à un même ventilator deux personnes de morphologie et de tidal volume similaires
• Un commentaire a décrit ce cas ainsi : « s’il n’avait pas été un héros, il aurait été licencié immédiatement »
• Dans l’expérience Gmail SRE, il y avait très peu de procédures imposées pendant la réponse aux incidents
  • Les SRE étaient responsables devant la hiérarchie de la disponibilité du service, mais il n’existait pas d’exigence de suivre un processus fixé pendant le traitement d’une panne
  • De nombreuses procédures étaient utilisées, mais elles ressemblaient davantage à des guidelines ou recommandations choisies par l’équipe qu’à des règles obligatoires
  • Après un incident, l’ajustement des procédures faisait partie de la réponse au même titre que la correction logicielle
• La culture des blameless postmortems chez Google SRE limite explicitement la responsabilité individuelle
  • Un postmortem doit éviter de blâmer une personne ou une équipe spécifique pour un comportement inapproprié, et se concentrer sur les causes ayant contribué à l’incident
  • On suppose que chacun a agi de bonne foi pour faire ce qui était juste avec les informations dont il disposait à ce moment-là
  • Si les personnes craignent d’être punies, elles cessent de faire remonter les problèmes

Sécurité aérienne et signalement honnête

• Le 1er février 1991, sur une piste de Los Angeles International Airport, un avion de ligne à réaction a percuté un petit avion de transport régional à hélice, causant au total 35 morts
• Un article d’Asterisk traite du cas de la contrôleuse aérienne Robin Lee Wascher
  • Quelques minutes avant d’autoriser USAir flight 1493 à atterrir, Wascher avait demandé à SkyWest flight 5569 de « taxi into position and hold » sur runway 24L
  • Elle ne se souvenait pas avoir donné l’autorisation de décoller et a réalisé que cet avion pouvait encore se trouver sur la piste
  • Wascher est retournée à la tour de contrôle et a dit à son superviseur qu’elle pensait que l’objet percuté par USAir était SkyWest flight 5569
• L’erreur de Wascher et le fait que cette erreur ait entraîné la mort de 35 personnes étaient clairs, mais elle n’a pas été punie
  • Ses collègues ont gardé la porte de sa chambre d’hôtel pour tenir la presse à distance
  • Quelques mois plus tard, lors d’une audition du NTSB, elle a témoigné honnêtement de ses souvenirs
  • Elle a aussi eu l’occasion de retourner à la tour de contrôle, mais l’a refusée
  • Personne n’a fait l’objet de poursuites pénales
• Écarter Wascher n’aurait pas amélioré la sécurité
  • Elle n’était pas une contrôleuse particulièrement mauvaise, mais une contrôleuse moyenne avec un dossier moyen
  • Ses collègues ont souligné que la même chose aurait pu arriver à n’importe qui
• Si un signalement honnête permet d’acheter un second radar sol, de déplacer des éclairages gênants ou de supprimer des tâches secondaires, cela a un effet bien plus important sur la sécurité aérienne que le licenciement de Wascher
  • La punition peut pousser d’autres contrôleurs expérimentés à refuser d’assumer la responsabilité d’événements hors de leur contrôle, ce qui revient finalement à les remplacer par des personnes moins expérimentées

Débloquer un système par un contournement de responsabilité

• HealthCare.gov a été lancé comme prévu le 1er octobre 2013, mais les visiteurs ont rapidement rencontré de nombreux problèmes techniques
  • Selon certaines estimations, seulement 1 % des personnes intéressées ont pu s’inscrire la première semaine
  • L’échec du site pouvait entraîner l’échec d’une politique centrale d’Obama, et il est présenté comme le premier cas où la performance d’un site web est devenue la priorité absolue de la Maison-Blanche
• Selon Jennifer Pahlka dans Recoding America, l’équipe a ensuite établi un plan en deux étapes
  • Recruter une petite équipe technique possédant l’expérience et les compétences pertinentes
  • Gagner la confiance du CMS, l’agence responsable de la mise en œuvre du site web
• Les nouveaux techniciens ont clairement indiqué qu’ils n’étaient pas venus chercher des responsables, mais aider
  • Au lieu de la réponse habituelle à un échec, où la supervision se renforce et la marge de manœuvre se réduit, le CMS a pu travailler avec des techniciens de confiance
  • Le CMS savait acheter des technologies et des services, et avait attribué 60 contrats pour healthcare.gov seulement, mais l’équipe comptait désormais des personnes capables de regarder le code plutôt que les conditions contractuelles
• Dominic Cummings est revenu sur la situation de l’approvisionnement en PPE du NHS pendant la crise du COVID en mars 2020
  • On lui a répondu que les PPE commandés n’arriveraient pas avant l’été, alors que le pic de demande était attendu dans les 3 à 4 semaines suivantes
  • La méthode existante consistait à organiser un transport maritime depuis la Chine ; il a demandé, puisque les compagnies aériennes étaient à l’arrêt, d’envoyer des avions en Chine pour ramener les fournitures
  • Seul Boris Johnson pouvait demander de contourner la bureaucratie, les règles de l’UE, les directives du Trésor, etc., et dire qu’il « assumerait personnellement toute responsabilité juridique »
• En endossant la responsabilité, Johnson a réduit le poids supporté par les fonctionnaires et leur a permis de résoudre le problème au lieu de rester bloqués dans des procédures officielles rigides

Le marché comme immense dispositif d’allègement de la responsabilité

• Le marché libre est présenté comme le plus grand exemple d’accountability sink
• On attend du gouvernement qu’il garantisse l’État de droit, l’exécution des contrats, ainsi que le respect des impôts et de la loi, mais qu’il n’intervienne pas dans le fonctionnement quotidien du marché
• Le marché a souvent été décrit comme un dispositif de traitement de l’information qui agrège les informations dispersées dans toute la société afin d’optimiser l’allocation de ressources rares
• L’absence de responsabilité permet aux entrepreneurs de prendre de grands risques
  • Si une entreprise échoue, le blâme revient au fondateur lui-même, mais personne ne le poursuit pour le punir
  • Il est moins nécessaire d’agir uniquement de façon prudente
• L’échec des économies communistes s’explique en grande partie par l’ignorance des lois de l’offre et de la demande, mais la structure dans laquelle tous les dirigeants d’entreprise devaient répondre à leurs supérieurs et au parti communiste a aussi pu engendrer une aversion au risque
  • Selon cette interprétation, même lorsque des scientifiques découvraient une technologie, la mise en œuvre des nouvelles technologies et pratiques commerciales était médiocre, menant à une stagnation économique générale

Distinctions pour la conception institutionnelle

• Les procédures officielles sont pour la plupart bénéfiques, et une société moderne complexe ne peut pas se maintenir sans procédures
• Toutes les procédures officielles ne sont pas des accountability sinks
  • Une procédure que l’on conçoit soi-même et que l’on s’impose ne dispense pas de responsabilité en cas de problème
  • Une procédure imposée d’en haut peut encourager une conformité aveugle même lorsqu’elle nuit à l’objectif
• Tous les accountability sinks ne conduisent pas non plus à la rigidité et à la dissimulation
  • Les procédures peuvent être conçues pour protéger les personnes concernées du poids de la responsabilité sans imposer une solution prédéfinie
  • Le blameless postmortem en est un exemple
• Dans des situations comme celle de l’agent d’embarquement, il existe souvent en pratique une certaine capacité d’escalade exceptionnelle, mais il faut publiquement maintenir qu’elle est impossible
  • Il en résulte un effet secondaire : du point de vue du client, il faut se comporter de manière suffisamment désagréable pour obtenir une exception, une escalade ou un traitement spécial
• La citation d’Atlas Shrugged d’Ayn Rand illustre fictionnellement le même problème, avec la scène de personnes immobiles devant un feu rouge par peur de se voir attribuer la responsabilité, et de Dagny Taggart qui prend cette responsabilité en disant « je le dis »