L’IA n’anesthésie pas une personne, mais toute l’organisation : l’ironie de l’automatisation déjà vécue par l’aérien et le médical

La capacité à bien manier l’IA et la capacité à en vérifier les sorties relèvent de deux axes différents, et tandis que l’un progresse,
l’autre s’érode silencieusement. Cet article examine le mécanisme par lequel cette érosion se propage non pas à l’individu, mais à l’échelle de l’organisation,
ainsi que la manière dont les dirigeants peuvent y répondre par la structure.

• L’IA n’est pas une abstraction qui masque le travail de bas niveau, mais un agent probabiliste qui prend cette place. Avec les abstractions existantes comme React ou les ORM, on pouvait au besoin redescendre l’échelle pour vérifier la causalité, mais au-dessus de l’IA, il n’existe tout simplement pas d’échelle pour redescendre
• Le concept clé est celui de possession cognitive, c’est-à-dire « l’état dans lequel on peut expliquer de bout en bout la trajectoire logique de pourquoi ce code devait être écrit ainsi ». La question n’est pas de savoir par quelles mains le code est passé, mais dans quelle tête se trouve sa causalité
• L’IA n’uniformise pas la compétence, mais la plausibilité. Seul le point le plus bas de la distribution de qualité du code est remonté ; la compétence elle-même n’a pas progressé, et plus le modèle s’améliore, moins il est visible que la causalité est vide
• Le coût de génération tend vers 0, mais le coût de vérification reste inchangé. Sous la pression économique qui fait de la personne passant une heure à vérifier un code produit en une seconde « la plus lente » selon les métriques de l’organisation, l’acceptation critique ne peut pas tenir par la seule volonté
• L’article cite des précédents déjà traversés par l’aérien, les neurosciences et la médecine : l’ironie de l’automatisation (Bainbridge, 1983), le vol Air France 447, l’atrophie de l’hippocampe chez les personnes dépendantes au GPS, et la baisse de sensibilité du CAD en mammographie
• La réponse ne doit pas être une résolution individuelle, mais une structure d’équipe. Il est proposé de comptabiliser l’inefficacité de la possession non comme une « morale », mais comme une « prime d’assurance »

Résumé détaillé

L’IA n’est pas une abstraction, mais un agent

• Les outils classiques étaient déterministes (même entrée, même sortie), ce qui permettait de remonter la causalité. L’IA est un agent probabiliste : à une même demande, elle peut produire un résultat différent à chaque fois, et même si le code est lisible, il n’existe aucun chemin pour atteindre le « pourquoi il a été écrit ainsi »
• Le code qu’on écrit soi-même laisse sa causalité en tête ; le code écrit par l’IA ne laisse que le résultat, sans que la causalité passe par l’esprit. L’auteur compare cela au fait de signer à répétition un contrat rédigé dans une langue qu’on ne connaît pas

Uniformisation de la plausibilité

• Observation de terrain en tant qu’intervieweur et reviewer de PR : les noms de variables sont propres, la structure semble convaincante, mais en grattant, on trouve des fonctions dupliquées, une séparation des responsabilités floue et des amas d’effets de bord
• La preuve la plus honnête est le moment où, à la question « pourquoi avez-vous fait cela ici ? », la réponse se bloque. C’est le signal direct d’un code dont l’apparence tient debout, mais dont la causalité manque

L’anesthésie se propage à l’échelle de l’organisation

• Autrefois, la causalité était stockée de manière distribuée grâce à une double couche de possession, celle de l’auteur et celle du reviewer. Mais si l’écriture est faite par l’IA et la revue aussi, la causalité d’une PR ne se trouve alors dans la tête de personne au sein de l’équipe
• « Le bot de revue IA résume, puis un humain survole et met LGTM » ressemble à une vérification, mais n’est qu’une autre production sans causalité. Le principe « le code que j’écris, c’est moi qui l’exploite » s’effondre

Le goût ne grandit qu’au contact de la panne

• Réfutation de l’idée selon laquelle « l’implémentation revient à l’IA, et l’humain ne garde que le goût ». Le goût ne se forme pas en lisant beaucoup de bon code, mais en voyant son propre code casser et en retraçant sur place sa causalité
• L’auteur cite la métaphore du marteau chez Heidegger (ce n’est que lorsqu’il se casse que l’essence de l’outil apparaît) et la sagesse pratique d’Aristote. L’IA ne supprime pas la panne, elle supprime « l’expérience de traverser la panne », fermant ainsi la forge où le goût se forme

Là où la filiation du compagnonnage s’interrompt

• Les abstractions précédentes « cachaient » la causalité sans la faire disparaître, si bien que l’échelle restait là ; au-dessus de l’IA, cette échelle ne se met pas en place d’elle-même. Le fait que les capacités progressent ou non dépend moins de la volonté individuelle que de la structure dans laquelle la personne est placée
• Celui qui décide de réinstaller artificiellement cette échelle au sein de l’équipe, c’est le dirigeant

La réponse doit être une structure d’équipe

• Inscrire dans les règles de revue que « tout code dont on ne peut pas expliquer la causalité n’est pas fusionné », redéfinir LGTM comme une déclaration de reprise selon laquelle « je peux expliquer ce code », mettre en place des contrôles ponctuels aléatoires

Mettre en place des contrôles

• Développer comme compétence d’équipe la manière de garder la conception en main avant de déléguer à l’IA (en spécifiant jusqu’aux contraintes et aux cas limites)
• Choisir les points d’ancrage à ne jamais lâcher (core domain), transformer l’inefficacité en parcours d’apprentissage intentionnel, mesurer non seulement la vitesse mais aussi la possession, tout en se méfiant de la loi de Goodhart pour n’en faire qu’un tableau de bord, et non un KPI

La crise du dirigeant : celui qui approuve sans pouvoir vérifier, ce pourrait être moi à la fin

• Lorsque les deux couches de support disparaissent, la rouille du dirigeant cesse d’être un problème individuel pour devenir le réglage par défaut de l’organisation. Ce que le dirigeant doit préserver, ce n’est pas la vérification exhaustive, mais la capacité de discerner si la causalité écrite par l’équipe est réelle
• Même si l’on ne peut pas contrôler le fait d’être anesthésié ou non, on peut contrôler la vitesse à laquelle l’anesthésie se propage. L’objectif est de « rester une organisation capable de distinguer un peu plus longtemps »