- Les exploitants d’agences de la Post Office britannique ont été tenus responsables de déficits inexistants à cause d’erreurs du système comptable Horizon conçu par Fujitsu ; entre 1999 et 2015, des centaines d’entre eux ont été condamnés, ruinés, emprisonnés ou ont vu leur réputation détruite
- Horizon a été introduit en 1999 pour remplacer la comptabilité sur papier, mais dans de nombreuses agences il affichait des déficits fictifs de plusieurs milliers à plusieurs dizaines de milliers de livres ; dans certains cas, le montant augmentait lorsqu’un même calcul était soumis à nouveau
- Le contrat faisait porter la responsabilité des pertes aux exploitants d’agence, et la Post Office a aggravé les préjudices en répondant aux personnes qui signalaient le problème qu’elles étaient « les seules » ou en les empêchant d’accéder aux éléments nécessaires pour prouver leur innocence
- En 2019, dans une action civile intentée par plus de 500 personnes, les bugs, erreurs et défauts d’Horizon ont été reconnus ; la Post Office a versé plus de 138 millions de livres d’indemnités, mais seules 93 des 700 condamnations ont été annulées
- Après la série d’ITV “Mr Bates vs The Post Office”, l’opinion publique s’est enflammée et le gouvernement a commencé à promouvoir une loi d’annulation des condamnations ; la responsabilité de Fujitsu dans l’indemnisation et une éventuelle responsabilité pénale restent sous enquête
Une vaste erreur judiciaire provoquée par les erreurs d’Horizon
- Les sub-postmasters qui exploitaient des agences de la Post Office britannique ont subi poursuites pénales, faillites et atteintes à leur réputation entre 1999 et 2015 à cause des déficits affichés par Horizon
- Le gouvernement britannique possède la Post Office et qualifie cette affaire de l’une des plus grandes erreurs judiciaires de l’histoire du Royaume-Uni
- Les préjudices ont touché des milliers de personnes ; 700 d’entre elles ont été condamnées pour des infractions pénales, et certaines ont été emprisonnées
- Horizon a été conçu par le groupe japonais Fujitsu et introduit en 1999 pour remplacer la comptabilité sur papier
- Dès son déploiement, des responsables d’agence ont signalé que le logiciel donnait l’impression que des milliers de livres, voire davantage, avaient disparu des comptes de la Post Office
Des déficits inexistants devenus des crimes individuels
- Jo Hamilton raconte qu’en 2003, alors qu’elle tenait un bureau de poste dans un petit village du sud de l’Angleterre, l’ordinateur Horizon a affiché un déficit de 2 000 livres ; lorsqu’elle a refait le même calcul, le montant a doublé sous ses yeux
- Hamilton a refinancé sa maison pour combler un déficit inexistant, et lorsque la Post Office l’a poursuivie en 2007 pour vol et fausse comptabilité, le déficit avait grimpé à 36 000 livres
- Elle a reconnu l’accusation de fausse comptabilité en échange de l’abandon de l’accusation de vol, mais cette procédure a été une expérience destructrice pour elle
- Wendy Buffrey a elle aussi vécu en 2008 une situation où le déficit inexpliqué d’Horizon doublait chaque fois qu’elle soumettait à nouveau le même calcul
- Les enquêteurs de la Post Office ont dit à Buffrey qu’elle était la seule à rencontrer ce problème
- Pensant être responsable de 36 000 livres, Buffrey a poussé ses cartes de crédit jusqu’à leur plafond pour verser 10 000 livres sur le compte
- À l’époque, son avocat lui a dit qu’elle risquait fortement une peine de trois ans de prison si elle plaidait non coupable ; Buffrey a reconnu la fausse comptabilité en échange de l’abandon de l’accusation de vol
- Buffrey dit souffrir depuis de douleurs chroniques liées à une fibromyalgie associée au stress
Des contrats et des méthodes d’enquête défavorables aux exploitants d’agence
- Les contrats de la Post Office ressemblaient à des contrats de franchise, et les exploitants d’agence devaient assumer les pertes financières survenues dans leur propre agence
- Certains exploitants dont le contrat avait été résilié se sont vu interdire l’accès à leurs locaux par les enquêteurs de la Post Office, ce qui rendait difficile la recherche de preuves de leur innocence
- Chaque fois que Hamilton appelait la hotline d’Horizon, les conseillers lui répondaient qu’elle était la seule à rencontrer des problèmes avec le système
- L’avocat Neil Hudgell dit avoir entendu directement des récits de sub-postmasters et de leurs familles accusés à tort, ou qui se sont suicidés après avoir perdu leur entreprise et leur réputation
- Dans sa déclaration de victime, l’épouse de Martin Griffith a expliqué que son mari était tombé dans une profonde dépression après la décision de la Post Office de résilier son contrat, puis qu’il avait marché devant un bus
- Griffith avait emprunté de l’argent à ses parents pour combler des déficits de compte, puis avait aussi subi un braquage de son agence
Après la victoire judiciaire, des indemnisations et annulations de condamnations lentes
- En 2019, dans une action civile intentée par plus de 500 sub-postmasters, il a été établi qu’Horizon présentait des « bugs, errors and defects »
- La Post Office a versé à ce jour plus de 138 millions de livres d’indemnisations et affirme vouloir réparer les torts du passé, y compris en soutenant l’annulation des condamnations injustifiées
- Après la victoire judiciaire de 2019, davantage de sub-postmasters ont affirmé qu’Horizon avait affiché des déficits erronés
- Sur les 700 personnes condamnées, seules 93 ont à ce jour été innocentées, dont Hamilton et Buffrey
- À ce jour, plus de 2 700 personnes ont demandé une indemnisation, mais beaucoup de sub-postmasters estiment que les sommes reçues sont insuffisantes et exigent que les responsables de l’affaire rendent des comptes
Enquête policière et périmètre de responsabilité de Fujitsu
- La Metropolitan Police de Londres a ouvert en 2020 une enquête pénale sur de possibles fraudes commises par la Post Office
- La police enquête aussi sur Fujitsu pour de possibles infractions liées aux poursuites engagées contre des sub-postmasters
- Deux ministres du gouvernement britannique ont déclaré que Fujitsu pourrait être appelé à verser des indemnisations aux victimes selon les conclusions de l’enquête publique indépendante
- Fujitsu affirme être pleinement mobilisé pour aider l’enquête afin de comprendre les circonstances de l’affaire et d’en tirer les leçons
- Fujitsu indique que l’enquête a confirmé l’impact dévastateur sur la vie des postmasters et de leurs familles, et présente ses excuses pour le rôle joué par l’entreprise dans leurs souffrances
Une série déclenche une réponse politique
- L’affaire avait été traitée pendant des années par les tribunaux et les médias britanniques, mais la diffusion de la série d’ITV “Mr Bates vs The Post Office” a brusquement accru la prise de conscience et la colère du public
- La série raconte la longue campagne menée par les sub-postmasters pour prouver leur innocence et obtenir réparation
- Alan Bates est l’ancien sub-postmaster qui a dirigé ces efforts
- Après la sortie de la série, le gouvernement britannique a répondu en quelques jours avec la rapidité que les sub-postmasters réclamaient depuis des années
- Le Premier ministre Rishi Sunak a annoncé que le Parlement adopterait rapidement une loi historique destinée à annuler les condamnations de centaines de sub-postmasters
- Le système politique et judiciaire britannique doit encore déterminer qui savait quoi et quand, si certaines personnes doivent être tenues pénalement responsables, et dans quelle mesure Fujitsu doit contribuer à l’indemnisation des victimes
Près de vingt ans de traumatisme
- Siema Kamran et son mari Kamran Ashraf ont acheté en 2001 une agence postale dans le nord de Londres ; trois ans plus tard, un audit de la Post Office a relevé un déficit inexpliqué de 25 000 livres
- Ashraf, se sentant sous la pression de son avocat, a reconnu l’accusation de vol ; en 2004, il a été condamné à neuf mois de prison, puis sa condamnation a été annulée en 2020
- Ashraf a passé les premières semaines de sa peine dans une prison de haute sécurité, enfermé 23 heures par jour, avant d’être transféré dans un établissement à sécurité moindre
- Il a été libéré au bout de quatre mois, mais a ensuite porté pendant cinq mois un bracelet électronique pour le suivi de sa localisation
- Kamran dit que son mari souffre de trouble de stress post-traumatique à cause de cette expérience, et que lui, elle-même ainsi que leurs trois enfants ont tous besoin d’un suivi thérapeutique
- Kamran, aujourd’hui maquilleuse indépendante, dit que si la Post Office peut faire une chose pareille, elle ne sait pas ce que d’autres marques pourraient faire, et qu’elle ne peut plus travailler pour une grande entreprise
1 commentaires
Commentaires sur Hacker News
C’est un nouvel article qui récapitule les faits, et cette affaire m’a conduit à faire un doctorat en systèmes d’information
Je voulais comprendre pourquoi un tel niveau d’incompétence informatique restait possible aujourd’hui alors que de bonnes pratiques IT et logicielles se sont accumulées pendant des décennies, mais j’ai vite découvert que la recherche en systèmes d’information avait déjà expliqué l’essentiel
Au final, les gens restent des gens et les mauvaises organisations restent de mauvaises organisations, et tant qu’il existera une distribution en cloche dans à peu près tout, cela ne disparaîtra peut-être jamais complètement
Si tout le monde était altruiste, humble, intelligent, compétent et honnête, beaucoup de problèmes du monde disparaîtraient, pas seulement dans l’IT, mais les individus, les organisations et la société sont chacun dysfonctionnels à leur manière
Malgré tout, la recherche sur les organisations essaie d’indiquer de meilleures voies, mais certaines personnes ne s’y intéresseront probablement jamais jusqu’au bout
Je ne m’y consacre plus car le sujet me semble déjà suffisamment étudié, mais je trouve intéressant que ce cas continue de revenir dans l’actualité
Les systèmes importants doivent avoir une responsabilité clairement attribuée, et cette responsabilité doit imposer aux concepteurs et aux propriétaires de mettre en place des garde-fous, des inspections et des protections
Pourquoi ce principe s’applique si mal au génie logiciel est une autre question, mais il devrait s’y appliquer
Franchement, je n’ai aucune envie d’entendre « aller vite et tout casser »
Cette affaire a été rendue publique et a fait l’objet de tentatives de réparation parce qu’elle était d’une ampleur telle qu’elle impliquait des centaines ou des milliers de personnes
Il faut se demander, parmi les affaires dispersées et isolées, combien de vies sont détruites et combien d’innocents moisissent en prison
Cette organisation a soit quelque chose qui attire des gens particulièrement toxiques, soit elle est devenue ainsi au cours des dernières décennies
Au début des années 2000, dans la publicité TV « The People’s Post Office », le rôle du sous-maître de poste était joué par John Henshaw ; c’était un choix étrange mais curieusement approprié pour un acteur connu pour des rôles de méchants marqués et de policiers corrompus
S’appuyer sur l’idée que « tout le monde est intelligent et agit de bonne foi » est déjà une conception défaillante
Si le monde universitaire vous intéresse, je recommande vivement de se pencher de nouveau sur la conception de systèmes qui fonctionnent même en présence d’incompétence, voire d’adversaires
Au contraire, les fanfarons et escrocs qui ont un rapport très souple à la vérité ont plus de facilité à grimper partout
Il y a plus d’informations sur ce qui s’est techniquement passé en coulisses : https://www.theguardian.com/uk-news/2024/jan/09/how-the-post...
David McDonnell, de l’équipe de développement, a déclaré à l’enquête que « sur les 8 développeurs de l’équipe, 2 étaient très bons, 2 étaient à peu près supportables pour travailler avec eux, mais 3 ou 4 n’avaient pas les compétences nécessaires pour produire un code professionnel »
Il ne s’agit pas de rejeter la faute sur les développeurs ; la responsabilité incombe clairement au management
Ceux qui ont créé des bugs dans le code ne doivent pas pour autant porter la responsabilité du fait que d’autres personnes soient allées en prison à cause de cela
Les managers ne savent pas vraiment ce que font concrètement les ingénieurs
Les seuls à réellement comprendre les compromis d’ingénierie, ce sont les ingénieurs, et si des vies dépendent du résultat de notre travail, nous ne devrions pas être totalement protégés des conséquences de nos choix
Ce n’est bon ni pour la société, ni au final pour nous
En droit de la responsabilité civile, il existe une responsabilité pour les dommages prévisibles, et plus l’expertise est élevée, plus la responsabilité l’est aussi
Les ingénieurs senior de l’équipe auraient dû faire mieux, et je pense qu’ils ont une part de faute
C’est un point qui me tracasse toujours
On peut créer une API qui journalise intégralement les accès, mais il est facile d’écrire du code qui contourne cette API
Le code n’est pas un bâtiment avec des murs et des portes ; on peut modifier l’intérieur sans toucher à la porte
Mettre en place une porte dérobée non auditée pour les opérateurs est une mauvaise chose, mais si l’on peut modifier le code source, les portes dérobées sont en pratique infinies
Horizon est un produit des années 1990, et l’industrie logicielle était alors très différente d’aujourd’hui
À l’époque, Microsoft était à peu près la seule entreprise à demander systématiquement aux programmeurs de coder en entretien, et le recrutement relevait presque du hasard
Il était courant d’avoir des équipes où une petite minorité capable d’écrire du code fonctionnel portait à bout de bras une majorité incapable de le faire
The Daily WTF est aussi un produit de cette époque, avec de nombreuses histoires comme Brillant Paula Bean : https://thedailywtf.com/articles/The_Brillant_Paula_Bean
On entend beaucoup moins ce genre d’histoires aujourd’hui, parce que l’industrie s’est stabilisée autour de tests concrets de compétences avant l’embauche, ce qui a écarté beaucoup de personnes qui entraient autrefois sur des projets sans savoir vraiment coder
Si j’étais l’unique développeur et vendeur de cette application, serais-je sans responsabilité ?
Est-ce que cela changerait s’il y avait une personne en QA, ou deux développeurs et deux personnes en QA ?
Faudrait-il que ce soit plutôt des non-techniciens ayant vendu ou promu l’application qui portent la responsabilité ?
Je ne comprends pas pourquoi la responsabilité du développeur qui n’a pas suffisamment vérifié son propre code disparaîtrait totalement
Il semble que le cœur de cette affaire ait été le système « judiciaire » privé interne du Post Office
Il était opaque, biaisé et refusait d’examiner les preuves
À une époque qui prétend défendre des droits universels, il est absurde qu’un employeur puisse retirer à quelqu’un le droit de se défendre devant le système judiciaire public
Les bugs informatiques ont été un problème, mais ce sont surtout les erreurs de jugement politiques d’une institution figée dans le passé qui ont brisé tant de vies, et l’affaire est restée enterrée jusqu’à la diffusion d’un drame télévisé
La personne qui dirigeait réellement le Post Office a même reçu une distinction officielle du gouvernement
L’IT et la génération de code comportent de nombreux pièges, mais le cœur de cette affaire est ailleurs
L’enquête publique a révélé que le Post Office avait eu recours à des tactiques juridiques agressives, par exemple en accusant des sous-maîtres de poste de vol pour les pousser à plaider coupable à des chefs d’accusation moins lourds
Le CPS a identifié 11 affaires de sous-maîtres de poste comportant des « éléments de preuve significatifs » liés au système Horizon
Des experts juridiques estiment que le gouvernement avait été averti depuis des années des dangers des poursuites privées, précisément parce que ceux qui les engagent peuvent avoir des motivations autres que la recherche de la justice
L’ancien directeur des poursuites publiques, Lord Ken Macdonald KC, a déclaré qu’il existe un risque évident lorsqu’une organisation intéressée, comme le Post Office, joue le rôle de procureur
La CEO a été récompensée parce qu’elle a « géré » la crise, et le gouvernement aurait dû exiger des réponses après les premiers signaux d’alerte des premières années
Mais il a fallu 20 ans et un drame télévisé pour qu’on les force enfin à faire preuve de leadership
Je ne sais pas si Netflix la diffuse à l’international sous licence
C’est un peu différent du cas britannique, mais les clauses d’arbitrage forcé privent les salariés du droit de rechercher la justice, et elles deviennent de plus en plus courantes
La BBC a couvert l’affaire en 2015 avec un documentaire Panorama, et le Post Office a menacé la BBC à cause de son contenu
« Le Post Office a menacé la BBC et menti en essayant d’étouffer des preuves cruciales innocentant des maîtres de poste dans le scandale Horizon »
« Les fausses affirmations n’ont pas empêché l’émission, mais elles ont retardé sa diffusion de plusieurs semaines »
https://www.bbc.com/news/uk-67884743
Ce n’était pas seulement un simple « défaut », c’était aussi une guerre de communication qui a, jusqu’à récemment, réussi à faire taire les victimes
En voyant la nouvelle, je me suis dit : « J’en avais entendu parler il y a cinq ans, j’imagine que c’est déjà réglé depuis longtemps ? »
Il n’aurait pas fallu un tel niveau de mise en lumière publique avant que la roue de la justice se mette en mouvement
Il y a quelques années, je me disais : « Voilà encore la technologie qui détruit des vies » ; mais en voyant qu’en 2024 cela continue encore, je ne peux plus y voir la faute de la technologie
Au final, c’est un problème humain, et les humains sont terribles
Cette histoire reçoit enfin l’attention qu’elle mérite
Si vous voulez un résumé de l’ampleur vertigineuse de cette injustice, cet article de Private Eye vaut la lecture : https://www.private-eye.co.uk/pictures/special_reports/justi...
L’émission de radio de la BBC lancée en 2020 contient aussi beaucoup d’informations utiles, notamment sur la manière dont le Post Office a enquêté sur les sous-maîtres de poste soupçonnés : https://www.bbc.co.uk/sounds/brand/m000jf7j
Il est difficile d’y voir un simple défaut logiciel
À tous les niveaux de l’organisme géré par l’État, la bureaucratie a cherché à étouffer l’affaire pour éviter une mauvaise publicité
Un dispositif médical ? Certainement pas
Bien sûr, on ne peut jamais savoir jusqu’au bout où notre code finira par s’exécuter
Il n’y avait pas que des problèmes logiciels pour que cela prenne une telle ampleur, mais je me demande quand même comment les développeurs qui ont travaillé là-dessus pendant des années ont pu simplement laisser passer ça
Il est difficile de croire qu’aucun développeur n’ait jamais entendu parler du problème
Se sont-ils dit immédiatement : « Impossible, je suis le meilleur au monde, donc le système ne peut pas être en cause, ces gens ont forcément volé l’argent » ?
À leur place, je n’aurais pas dormi ; j’aurais repassé tout le système dans ma tête pour essayer de trouver ce qui n’allait pas
Je me demande si ce n’est pas une sorte d’effet Dunning-Kruger
Je ne me prends pas pour un magicien du code, mais je sais au moins une chose : je continuerai à produire des bugs jusqu’à ma mort
Même Rust n’empêche pas les bugs logiques
Ce n’était pas un seul bug, mais plusieurs bugs différents
Le Post Office est une entreprise entièrement privée
Cette histoire a beaucoup de méchants évidents, mais on peut se demander où était le système juridique pendant tout ce temps.
Ils ont vraiment engagé 900 poursuites sans véritable preuve, ou simplement parce que « l’ordinateur l’a dit » ?
Si c’est bien l’un des trois pouvoirs, le système juridique et l’appareil judiciaire ne sont-ils pas censés être le dernier rempart contre ce genre de persécution de masse arbitraire visant des personnes totalement innocentes ?
« Il n’existe aucune preuve directe qu’elle a pris l’argent… Elle nie fermement le vol. Il n’y a pas d’images de vidéosurveillance. Il n’y a ni empreintes digitales ni billets marqués. Il n’y a aucune preuve qu’elle ait accumulé de l’argent liquide ailleurs, dépensé de grosses sommes ou remboursé des dettes, et il n’existe absolument aucun élément concernant des comptes bancaires. Lorsque son domicile a été perquisitionné, rien n’a été trouvé qui indique sa culpabilité. »
La seule preuve était l’écart entre le montant d’espèces que le système informatique Horizon de la Post Office affirmait devoir se trouver dans l’agence et le montant réellement présent.
« Acceptez-vous l’argument de l’accusation selon lequel il existe suffisamment de preuves qu’Horizon est un système éprouvé, utilisé pendant des années dans des milliers de bureaux de poste, et qu’il est fondamentalement robuste et fiable ? »
Ma parole contre la tienne ne suffit pas à satisfaire le critère du « au-delà de tout doute raisonnable », mais la parole de la Post Office, appuyée par un système informatique, semble avoir été suffisamment convaincante pour le jury.
Dans cette affaire, le jury a rendu un verdict de culpabilité.
On part du principe qu’ils fonctionnent correctement, et la charge de la preuve pèse sur celui qui affirme le contraire.
Beaucoup disent qu’il faut changer cette présomption de fiabilité des preuves informatiques.
https://www.theguardian.com/uk-news/2024/jan/12/update-law-o...
https://www.forbes.com/sites/emmawoollacott/2024/01/15/law-o...
Un logiciel n’est ni intelligent ni stupide, c’est une machine.
Dans ce cas, elle était défaillante, et des personnes réellement capables d’analyser la situation de manière critique et de juger ont pris la sortie d’une machine dont elles ne pouvaient pas vraiment voir l’intérieur comme parole d’évangile.
En général, quand un magistrat doit choisir entre l’honorable équipe juridique de His Majesty’s Postal Service et un type avec un accent local qui, selon eux, est « un sale voleur », il choisira le camp du gouvernement à chaque fois.
Aucune trace de transfert d’argent vers un compte, aucun patrimoine inexpliqué, aucune dépense ostentatoire, et malgré tout, tout reposait sur « l’ordinateur l’a dit ».
Le fait que le système judiciaire traite chaque affaire séparément est aussi un problème.
Au bout de quelques dossiers, il devrait exister dans le système juridique un mécanisme permettant de dire : « Attendez, il y a quelque chose de bizarre ici. »
Dans cette affaire, le premier changement sera probablement de mettre fin au vieil usage qui permet à la Post Office de poursuivre elle-même au Royaume-Uni.
Dans mon équipe précédente, l’usage du mot glitch était interdit.
Les développeurs et responsables produit s’en servaient face aux clients comme d’un terme fourre-tout pour dire « un bug dont je ne veux pas assumer la responsabilité », et ce mot n’a pas sa place dans une équipe technique moderne.
Avant, on voyait des gens copier-coller des réponses de Stack Overflow dans le code de l’entreprise et tenir jusqu’à ce que « ça marche », puis quand un problème surgissait, il restait des semaines ou des mois chez une personne avant de passer à une autre.
Dans la plupart des cas, il suffirait d’ajouter quelques simples instructions d’affichage pour obtenir une piste de correction, mais même cela était considéré comme trop complexe.
Quand le logiciel rapporte de l’argent, l’incitation à réduire les coûts de développement devient plus forte, à recruter des ingénieurs moins expérimentés et moins chers, et à sauter des étapes en disant que « le TDD est une perte de temps ».
Le gouvernement britannique est dépendant des grands cabinets de conseil, qui ont l’habitude d’envoyer dans le secteur public du personnel bon marché et peu expérimenté tout en empochant le reste, pour livrer des projets hors de prix et à moitié terminés, voire ne rien livrer du tout.
Il n’existe aucune organisation qui cherche à enquêter sur ces contrats.
C’est très similaire au système australien de Robodebt, avec des conséquences destructrices comparables : https://en.wikipedia.org/wiki/Robodebt_scheme
Des bénéficiaires d’aides sociales ayant reçu des avis automatiques de recouvrement de dette se sont suicidés, des avis de dette ont été envoyés à des personnes décédées, et des allocataires d’une pension d’invalidité ont eux aussi reçu de tels avis.
Wikipedia semble appeler cela l’Algocracy, c’est-à-dire une gouvernance par les algorithmes.
C’était parce qu’il suggérait des résultats favorables au gouvernement de l’époque, tout en faisant peser sur les particuliers la charge de réfuter l’existence de la dette, avec des exigences absurdes et presque aucune aide ni procédure de recours.
Le Liberal & National Party alors au pouvoir voulait se donner une image de fermeté envers les fraudeurs aux aides sociales et l’exploiter électoralement, tout en inscrivant dans le budget suivant une énorme source potentielle de revenus qui n’existait en réalité pas.
Beaucoup d’erreurs de calcul venaient du fait qu’on prenait des revenus sur une quinzaine, ou plusieurs quinzaines, qu’on faisait une moyenne puis qu’on les extrapolait en revenu annuel ; c’est une méthode totalement absurde quand beaucoup de bénéficiaires de prestations ont des emplois précaires ou de courte durée et que cette période ne représente pas leur revenu annuel.
Dans certains cas, la personne désignée comme débitrice ne l’apprenait qu’au moment de recevoir une mise en demeure d’une société de recouvrement.
Quand un particulier intentait une action en justice, le gouvernement ramenait la dette à 0,00 dollar, puis affirmait qu’il n’y avait plus de motif de poursuite et faisait rejeter l’affaire.
Finalement, des avocats représentant certaines personnes ont commencé à réclamer aussi les intérêts sur les dettes indûment émises, ce qui a empêché le gouvernement de gagner avec la même tactique ; ce n’est qu’alors qu’il a reconnu l’illégalité d’un système maintenu pendant des années.
Pour comprendre l’ensemble du contexte, je recommande cette série YouTube en trois parties : https://www.youtube.com/watch?v=OfsL9GAbl3M
Elle explique dès le début que cela a débouché sur le plus grand recours collectif de l’histoire australienne.
Aujourd’hui, les logiciels sont perçus comme la vérité, mais cela n’a pas toujours été le cas
C’est une bonne chose que l’IA attire autant l’attention, car cela semble aider les gens à mieux prendre conscience que ses jugements peuvent être erronés
Les tribunaux devraient exiger que les décisions prises par un logiciel rendent publics les données et le cheminement décisionnel, autrement dit l’« algorithme »
Il faut aussi une loi sur l’interdiction d’utiliser un système
Pouvoir être banni à vie sans explication ni recours est insensé, et revient en pratique à recevoir une peine à perpétuité sans raison