Un ordinateur ne peut jamais être tenu pour responsable.

• Une page légendaire issue d’une formation interne d’IBM en 1979, particulièrement pertinente à l’ère de l’IA

  A COMPUTER CAN NEVER BE HELD ACCOUNTABLE
  Un ordinateur ne peut jamais être tenu pour responsable.
  THEREFORE A COMPUTER MUST NEVER MAKE A MANAGEMENT DECISION
  Par conséquent, un ordinateur ne doit jamais prendre une décision de gestion.

• Des informations sur la source d’origine ont été demandées sur Twitter, et Jonty Wareing a répondu :
  • Quelqu’un l’a trouvé dans les documents de travail de son père, puis ils ont été détruits lors d’une inondation
  • Impossible de le retrouver dans la correspondance avec les archives d’IBM. Il était courant que les filiales produisent des documents non archivés.
• Réponse reçue par Jonty de la part d’IBM
  • La première mise en ligne de l’image remonte à un tweet de @bumblebike en février 2017
  • IBM a confirmé qu’elle provenait d’un support de formation interne de 1979
  • Un autre tweet de @bumblebike en décembre 2021 : le document a été détruit avec la plupart de ses affaires lors des inondations de 2019
  • Une demande a été faite lors d’une réunion Zoom du club des retraités, mais il y avait très peu de personnes de la bonne tranche d’âge

[mammal]

"Quiconque ne peut pas assumer la responsabilité d’une décision ne doit jamais devenir gestionnaire."

[GN⁺]

Avis Hacker News

• Souligne que l’usage des ordinateurs sert à éviter d’assumer la responsabilité. Cela est expliqué à travers une citation du livre <i>Technopoly</i> de Neil Postman : les ordinateurs donnent l’impression d’être une véritable source d’autorité, ce qui favorise l’évitement de la responsabilité

• Soulève des doutes au sujet des voitures autonomes. La responsabilité passerait du conducteur au constructeur, et l’on peut se demander si les constructeurs veulent réellement assumer cette responsabilité

• Affirme que l’introduction des cartes à puce visait à transférer la responsabilité des banques vers les utilisateurs. La sécurité s’est renforcée, mais l’objectif réel serait surtout de faire porter aux utilisateurs la responsabilité de la fraude à la carte bancaire

• Insiste sur le fait que l’usurpation d’identité est elle aussi une fraude bancaire. En l’appelant usurpation d’identité, le problème cesse d’être celui des banques pour devenir celui des particuliers

• Mentionne que les entreprises détestent la responsabilité, comme tout le monde d’ailleurs

• Dans certaines entreprises, il existe des politiques où les managers évitent de prendre des décisions parce qu’ils pourraient en être tenus responsables

• Souligne que le mot « responsabilité » est désormais devenu un langage thérapeutique vidé de son sens. Les CEO disent assumer leurs responsabilités, mais en pratique aucune conséquence ne suit

• Explique, à l’aide d’une citation du livre <i>God & Golem Inc.</i> de Norbert Wiener, que ce que les gens attendent des calculateurs automatiques n’est pas tant un calcul plus précis qu’une boîte à laquelle ils peuvent déléguer la responsabilité

• Soutient qu’en droit, c’est l’opérateur qui devrait être tenu responsable. Sinon, ce serait comme interdire les allumettes pour prévenir les incendies volontaires

• Mentionne que ce phénomène existait déjà avant l’actuelle vague autour de l’IA liée aux « algorithmes »

• Explique qu’un principe utilisé en informatique légale s’applique ici à l’envers. Devant un tribunal, un enquêteur en informatique légale peut témoigner de ce qui a été fait sur un appareil, mais pas de l’identité de la personne qui l’a fait

• Lorsque des experts expliquent que les ordinateurs paraissent très déterministes mais qu’en réalité l’incertitude existe, le grand public en est choqué

• Évoque le cas socialement normalisé des alarmes de sécurité dans les magasins : lorsqu’elles se déclenchent, on dit que l’ordinateur a causé le problème, alors qu’en réalité ce n’est pas le cas