L’hypothèse selon laquelle les ordinateurs fonctionnent correctement
(emptycity.substack.com)- Le scandale des poursuites liées à Post Office Horizon au Royaume-Uni est un cas majeur d’erreur judiciaire de masse dans le Royaume-Uni moderne, qui montre non seulement des défaillances individuelles et organisationnelles, mais aussi le rôle joué par le droit et les procédures judiciaires
- Les tribunaux présument qu’en l’absence de preuve contraire, un dispositif mécanique fonctionnait normalement ; ce point de départ s’applique aussi aux enregistrements informatiques
- Avec une telle présomption de preuve, des faits comme un déficit comptable peuvent être établis sur la seule base d’enregistrements informatiques, ce qui place l’accusé dans la position de devoir prouver l’existence d’une erreur
- La Section 69 du Police and Criminal Evidence Act de 1984 instaurait une règle inverse, imposant à l’accusation de démontrer le bon fonctionnement de l’ordinateur, mais elle a été abrogée en 1999
- Si la Section 69 était restée en vigueur, la manière dont les poursuites de Post Office ont été conduites aurait pu être différente ; après son abrogation, la charge est revenue du côté des accusés
Le scandale Post Office Horizon et la responsabilité des procédures judiciaires
- Le Post Office prosecutions scandal est considéré comme l’un des plus grands cas d’erreur judiciaire de masse du Royaume-Uni moderne
- L’affaire mêle des défaillances personnelles et institutionnelles, avec une masse considérable de documents juridiques et de preuves, ce qui la rend difficile à appréhender dans son ensemble
- Le jugement clé rendu en 2019 par Mr Justice Fraser compte plus de 1 000 paragraphes, hors annexes
- Le livre de Nick Wallis sur le sujet et l’enquête judiciaire retracent le déroulement de l’affaire et les moyens d’éviter qu’elle ne se reproduise
- De nombreuses analyses se concentrent sur les défaillances de la direction de Post Office, de ses avocats et du fournisseur logiciel Fujitsu
- Mais le droit et les procédures appliqués faisaient eux aussi partie de l’affaire, et la responsabilité n’en est pas allégée dès lors que les décideurs savaient, ou auraient dû savoir, qu’ils pouvaient fonctionner de manière sévère envers les accusés
La présomption de preuve selon laquelle « les ordinateurs fonctionnent normalement »
- Ce que les juristes appellent une présomption (presumption) est un mécanisme par lequel un tribunal accepte un état de fait par défaut en l’absence de preuve contraire
- La formulation classique veut qu’« en l’absence de preuve contraire, le tribunal présume qu’un dispositif mécanique était en bon état au moment pertinent »
- Ici, les dispositifs mécaniques incluent les ordinateurs
- Cette présomption ne signifie pas que les tribunaux croient nécessairement les ordinateurs en toutes circonstances ; c’est un point de départ qui peut être réfuté par des preuves
- Tant que l’état contraire n’est pas établi, le tribunal peut accepter cet état comme un fait
Pourquoi les présomptions sont nécessaires, et leurs risques
- Le recours aux présomptions par les tribunaux n’est pas problématique en soi ; sans elles, de nombreuses affaires seraient difficiles à traiter en pratique
- Les présomptions ramènent les questions en litige à un périmètre gérable
- Un contrat peut être considéré comme non frauduleux tant qu’il n’est pas démontré qu’il s’agit d’un faux document
- Un accusé peut être traité comme n’étant pas atteint de troubles mentaux tant qu’un état de démence n’est pas démontré
- L’essentiel est de savoir quel état devient la valeur par défaut, et quelle partie doit renverser cette valeur par défaut
- Si le contenu de la présomption est irréaliste, ou si les conditions pour la réfuter sont excessivement difficiles, la présomption devient non pas un outil au service de la justice, mais un mécanisme générateur d’erreurs judiciaires
Quand les enregistrements informatiques deviennent le fondement d’une condamnation
- La règle selon laquelle un ordinateur est réputé fonctionner normalement relève d’une présomption de preuve
- Si aucune preuve ne montre que l’ordinateur n’a pas correctement fonctionné, le tribunal peut considérer que les faits pertinents sont établis sur la seule base des enregistrements informatiques
- Par exemple, si des enregistrements informatiques indiquent un déficit financier chez un maître ou une maîtresse de poste, le tribunal peut les accepter comme preuve d’un déficit réel
- Pour ébranler cette prémisse, l’accusé doit montrer que l’ordinateur ne fonctionnait pas normalement
- Lorsque la preuve centrale de l’accusation repose sur des enregistrements informatiques, la structure revient finalement à dire : « computer says guilty »
L’introduction puis l’abrogation de la Section 69
- Cette présomption de preuve n’a pas toujours fonctionné dans le même sens
- La Section 69 du Police and Criminal Evidence Act 1984, adoptée en 1984, a inversé le sens de la présomption
- Sous la Section 69, ce n’était pas à l’accusé de démontrer une erreur informatique, mais à l’accusation de démontrer le bon fonctionnement de l’ordinateur
- Cette disposition remplaçait la position antérieure de common law selon laquelle « en l’absence de preuve contraire, un dispositif mécanique est présumé en bon état »
- Si la Section 69 avait encore été en vigueur lorsque Post Office poursuivait des maîtres et maîtresses de poste, le déroulement des affaires aurait pu être différent
- La Section 69 a été abrogée en 1999, et la présomption antérieure de common law est revenue
- Depuis, la structure n’impose plus au procureur de démontrer d’abord le bon fonctionnement de l’ordinateur, mais à l’accusé de montrer que l’ordinateur n’a pas fonctionné normalement
- La manière dont la Section 69 a été abrogée, et la validité des raisons invoquées, restent le sujet d’un prochain article
1 commentaires
Avis de Hacker News
L’impression que j’ai eue la dernière fois que je me suis penché sur le scandale du Post Office, c’est que dire « nous avons trop fait confiance au système IT » tenait surtout de l’excuse commode
Les dirigeants semblaient bien au courant du problème, et savoir qu’ils poursuivaient des innocents, mais ils ont continué pour couvrir leurs propres échecs. Dans ce cas, de lourdes peines de prison ferme s’imposent. L’entrave à la justice n’est pas un délit mineur, et il existe même des soupçons selon lesquels Paula Vennells aurait délibérément menti au Parlement
Ainsi, à cause du racisme, le conseil d’administration du Post Office avait une barrière psychologique qui l’empêchait de relier les indices entre eux, et, même face aux preuves écrasantes de centaines de condamnations injustifiées, son absence de sens moral l’a poussé à s’entêter encore davantage. C’est aussi une triste histoire d’échec technologique, mais c’est également une mise en accusation de la culture des conseils d’administration britanniques. Le magazine Private Eye couvre cette catastrophe depuis plus de dix ans
Ne serait-il pas plus juste de plaider pour la suppression structurelle de ce pouvoir ?
Après avoir passé ma vie à corriger des bugs, je trouve souvent surprenant que les systèmes informatiques fonctionnent überhaupt
J’ai vécu personnellement quelque chose d’assez proche du système défaillant du Post Office : même en présentant des preuves, tout le monde refusait d’envisager la possibilité que le système informatique soit en tort. Parce qu’aller creuser pour comprendre était trop pénible
Comme j’ai vu comment les logiciels sont fabriqués, je ne comprends pas comment tout cela peut bien fonctionner. Ma réponse à ce paradoxe, c’est qu’en réalité tout ne fonctionne pas. Nous avons été conditionnés à accepter ce qui ne fonctionne pas comme autre chose. Les gens voient les systèmes informatiques comme des entités omniscientes et infaillibles, ou au contraire comme des boucs émissaires
Par exemple, les sites web de compagnies aériennes comme TAP, Vueling ou KLM, d’après mon expérience ces deux dernières années, présentaient souvent des bugs qui empêchaient de réserver des billets ou de se connecter à un compte, et je dirais qu’ils ne fonctionnaient pas plus souvent qu’ils ne fonctionnaient. Instagram et Google ont désactivé automatiquement des comptes sans raison particulière, et sur Instagram, après que cela me soit arrivé 3 fois en deux mois, j’ai simplement abandonné et cessé de l’utiliser. Skype n’a pas besoin d’explication pour qui l’utilise, et Teams échoue de façons étonnantes malgré toutes ses « mises à jour » : le bouton muet qui ne coupe pas réellement le micro, l’ordre des lettres d’une phrase qui s’inverse pendant la saisie dans le chat, l’application qui se ferme soudainement pendant un appel et ne répond plus, etc. Ces pertes de productivité doivent être considérables à l’échelle mondiale, et les salaires gaspillés par les entreprises sont probablement supérieurs aux coûts de licence payés à Microsoft. Telegram gère mal les écrans externes, ce qui casse la mise à l’échelle et oblige à redémarrer, et iCloud met de quelques secondes à environ une heure pour synchroniser des fichiers même quand tous les appareils disposent d’une bonne connexion
Même lorsqu’ils voient sans cesse des preuves contraires ; mais en tant qu’ingénieur, je trouve cela naturel et efficace. Il faut établir des priorités, et certains bugs sont moins importants que d’autres. Je pense qu’il vaut mieux consacrer davantage d’efforts à l’éducation, à la santé et à la recherche fondamentale que corriger tous les bugs de tous les logiciels
Ainsi, lorsqu’elles commencent à échouer dans 1 % des cas, les gens l’ignorent parce qu’elles ont fonctionné dans les 99 % précédents. Ils ont été entraînés à faire confiance aux résultats, au point que le doute ne leur vient même pas à l’esprit. Cela me rappelle le livre Systemantics : https://www.amazon.com/Systemantics-Systems-Work-Especially-...
L’une des thèses centrales du livre est l’erreur opérationnelle selon laquelle « un système ne fait pas réellement ce qu’il dit faire ». Les gens l’oublient souvent, et les ingénieurs aussi. Ce n’est pas parce qu’un système affirme faire X qu’il fait réellement X. Il faut cultiver un scepticisme sain vis-à-vis des systèmes IT complexes. Ils peuvent ne pas échouer la plupart du temps, mais ils finiront forcément par échouer un jour
En tout cas, c’est l’impression que cela donne
L’un des grands problèmes de ces poursuites est que le pouvoir de poursuite appartenait au Post Office lui-même
Avant cette affaire, je ne savais pas que le Post Office disposait d’un tel pouvoir. En pratique, le Post Office était à la fois plaignant et autorité de poursuite. « Le Post Office Investigation Branch (IB) est la plus ancienne organisation d’enquête criminelle reconnue au monde. Depuis plus de 335 ans, elle détecte les infractions liées au courrier et poursuit leurs auteurs. »
https://www.postalmuseum.org/blog/the-post-office-investigat...
En théorie, c’est un moyen de demander des comptes aux puissants, mais c’est extrêmement coûteux ; presque toutes les poursuites privées sont donc en réalité intentées par des entreprises
Je n’avais jamais entendu parler de ce scandale
Je me demande quel était le principal problème du logiciel qui provoquait ces incohérences. Une perte de connexion, par exemple ? Wikipedia n’entrait pas dans les détails. J’ai trouvé ceci : https://www.benthamsgaze.org/2021/07/15/what-went-wrong-with...
Je recommanderais bien d’en apprendre davantage, mais il faut avoir le cœur bien accroché. Beaucoup de gens qui se sont plongés dans cette affaire ont fini par chercher un seau à proximité. C’est vraiment difficile à lire
Les grands systèmes ont presque toujours des bugs pendant leur développement, mais ils sont généralement découverts et corrigés. Ici, les bugs ont été découverts, mais pas corrigés
Mon postulat de base est plutôt que les ordinateurs ne fonctionnent pas correctement
Parce que j’ai vu bien trop de cas où, en pratique, ils ne fonctionnaient pas correctement. Même en conduisant, je ne fais pas confiance aveuglément à Google Maps : je vérifie que l’itinéraire a du sens, et je revérifie le nom de la route et le numéro de sortie à l’endroit où il me dit de tourner. Je me suis fait avoir trop de fois
D’après mon expérience de programmeur, l’ordinateur lui-même fonctionne généralement correctement
Il est rare que ce soit un bug matériel. Mais le logiciel, lui, se trompe tout le temps, et le matériel informatique ne fait qu’exécuter aveuglément ce que le logiciel lui demande
« On corrigera ça dans le logiciel » pourrait presque être la devise officielle de l’industrie du matériel
Ici, « ordinateur » désigne un système composé de matériel et de logiciel, et c’est presque toujours ainsi que le mot « ordinateur » est utilisé. Le problème est que les tribunaux présument qu’un ordinateur fonctionne correctement en l’absence de preuve contraire. Autrement dit, un tribunal peut considérer que les seuls enregistrements informatiques suffisent à établir les faits pertinents et, si l’accusé ne peut pas montrer que l’ordinateur ne fonctionnait pas correctement, accepter qu’il y avait un déficit financier chez le responsable du bureau de poste. En bref, si le cœur de l’accusation repose sur des enregistrements informatiques, cela revient à dire que l’ordinateur l’a déclaré coupable
On attend souvent des logiciels qui manipulent directement le matériel à très bas niveau qu’ils compensent ces aspérités
Pour prendre un vieil exemple, les CPU Intel Pentium avaient deux bugs célèbres découverts après leur lancement. Le bug FDIV de division en virgule flottante, qui a conduit à un rappel en 1994, et le bug F00F, découvert en 1997, qui bloquait le processeur jusqu’au redémarrage.
https://en.m.wikipedia.org/wiki/Hardware_bug
Comme cela fonctionne la plupart du temps, on considère presque toujours que c’est un problème utilisateur. Si l’on ne sait pas quoi chercher, on se contente d’écarter les cas d’erreur connus, jusqu’à aboutir à une terrible erreur judiciaire comme dans l’article ci-dessus
Cette présomption devient surtout problématique lorsque l’opérateur de l’ordinateur est du même côté que la partie qui poursuit
C’est bien une question de ce que les tribunaux devraient présumer, mais il vaut aussi la peine de se demander ce que les développeurs logiciels présument, ou ne présument pas
Les développeurs logiciels supposent qu’un logiciel très répandu fonctionne correctement. Même s’il y a 3 500 bugs dans les issues GitHub de pandas, ils considèrent que JavaSDK ou la bibliothèque pandas fonctionne correctement. Mais s’ils intègrent une bibliothèque moins connue ou utilisent un logiciel moins connu, ils auront moins confiance dans son fonctionnement
En ce sens que des milliers de personnes s’en plaindront pendant des années. Pour le dire de manière moins cynique, on peut s’attendre à ce que les fonctionnalités largement utilisées d’un logiciel largement utilisé aient été testées dans des conditions réelles ; donc, s’il y a des bugs, ils ont au moins de bonnes chances d’être connus. Mais même l’espace d’états d’un logiciel de complexité moyenne nécessite une quantité énorme de tests pour être entièrement couvert. Il suffit de voir la taille de la suite de tests de SQLite. La seule approche qui semble vraiment bien fonctionner pour produire des logiciels avec peu de bugs consiste à combiner de petits composants autonomes, isolés et bien compris, afin de rendre l’ensemble plus facile à raisonner. C’est la philosophie Unix originelle, la philosophie de la programmation fonctionnelle, et aussi une partie de la philosophie des systèmes d’acteurs, même si raisonner sur les interactions asynchrones est plus difficile. J’espère voir cette approche apparaître de plus en plus dans la pratique
Le titre est peut-être presque l’inverse d’un appât à clics
L’article traite du scandale de la Post Office, et c’est vraiment un gros sujet
Lien pour archivage : https://archive.ph/wip/AJl8i