L’ironie de l’IA et de l’automatisation – Partie 2
(ufried.com)- Exploration d’enseignements applicables à l’automatisation fondée sur l’IA, à partir principalement du deuxième chapitre, « Approaches to solutions », de l’article de 1983 de Lisanne Bainbridge, “The ironies of automation”
- Lorsque des humains supervisent le travail effectué par des agents IA, les limites cognitives en situation de jugement rapide et de stress créent une structure de risque comparable à celle des systèmes de contrôle industriels
- Les UI/UX actuelles des agents fondés sur des LLM sont inadaptées à la détection d’erreurs, et il est nécessaire de s’inspirer des principes de conception des systèmes de contrôle industriels
- En raison du paradoxe de la formation, plus l’automatisation réussit, plus une formation continue et coûteuse des superviseurs humains devient indispensable
- À l’ère des agents IA, il faut aller au-delà de la simple supervision et développer de véritables « compétences de leadership », ce qui mène à une nouvelle forme de collaboration homme-machine
Les limites du jugement humain face à l’automatisation par l’IA
- Dans les systèmes de contrôle industriels, il faut réagir en quelques secondes, tandis que l’automatisation du travail de bureau présente moins de risques immédiats, mais exige malgré tout des décisions et des interventions rapides
- Lorsque l’IA produit des résultats à une vitesse surhumaine, l’humain a besoin d’un niveau équivalent de soutien cognitif pour les comprendre et les vérifier
- La culture d’entreprise centrée sur l’efficacité et les environnements stressants dégradent les capacités d’analyse humaines, rendant la détection d’erreurs encore plus difficile
- Les erreurs dans les résultats de l’IA peuvent entraîner des conséquences graves, comme des incidents de sécurité, ce qui impose de concevoir des dispositifs de supervision comparables à ceux du contrôle industriel
Le pire problème d’UI
- Bainbridge indique que « dans les situations où il faut reconnaître rapidement des événements de faible probabilité, un soutien artificiel est nécessaire »
- Cela signifie qu’il faut renforcer les systèmes d’alerte pour atténuer le problème de la fatigue de surveillance
- Les méthodes actuelles de gestion de flottes d’agents IA reposent sur des interfaces inefficaces où l’humain doit examiner des plans de plusieurs centaines de lignes
- Les erreurs sont rares, mais peuvent être fatales, ce qui appelle une refonte de l’UI/UX centrée sur la détection d’erreurs
- Il faut appliquer les principes de conception visuelle et d’alerte des systèmes de contrôle industriels
Le paradoxe de la formation
- Bainbridge souligne l’importance du maintien des compétences manuelles et note que les humains doivent manipuler directement le système de manière régulière
- Plus le niveau d’automatisation est élevé, plus la dégradation des compétences humaines s’accélère
- L’entraînement sur simulateur reproduit difficilement des situations d’erreur imprévues, d’où la nécessité d’une formation centrée sur des stratégies générales
- Comme l’illustre la formule « il est ironique d’attendre de l’intelligence d’êtres humains entraînés à suivre des instructions », les superviseurs d’IA doivent eux aussi s’entraîner en continu à gérer des situations exceptionnelles
- Plus l’automatisation réussit, plus le coût de formation des humains augmente, ce qu’une simple logique de réduction des coûts ne permet pas de résoudre
Le dilemme du leadership
- Superviser des agents IA ne consiste pas seulement à surveiller, mais à exercer un rôle de leadership par l’instruction, la coordination et le feedback
- L’humain ne pilote plus l’exécution directe, mais la gestion indirecte des résultats, ce qui exige une transition vers une nouvelle manière de travailler
- La plupart des praticiens devront gérer des agents sans formation au leadership, et le conseil consistant à « mieux écrire les prompts » est insuffisant
- Une formation au leadership appliqué à l’IA est nécessaire, avec une structure proche de celle des formations traditionnelles au leadership humain
- Tant que les agents ne seront pas suffisamment sophistiqués, il sera indispensable de renforcer les compétences de leadership des superviseurs
Conclusion : la véritable ironie de l’automatisation
- Comme le concluait Bainbridge, l’humain sans pression temporelle est un excellent résolveur de problèmes, mais son efficacité chute fortement sous pression
- L’automatisation ne supprime pas les difficultés humaines ; elle exige au contraire davantage de sophistication technique et d’investissement dans les capacités humaines
- Ces enseignements formulés il y a 40 ans restent toujours valables à l’ère des agents IA, et imposent de rééquilibrer la collaboration homme-machine
- Les progrès de l’automatisation par l’IA dépendent moins de la technologie que de la redéfinition du rôle humain
1 commentaires
Réactions sur Hacker News
J’apprécie vraiment le résumé de l’article de Bainbridge de 1983 proposé par l’auteur
J’avais essayé d’appliquer l’« ironie » de l’automatisation industrielle aux agents IA, sans réussir à l’exprimer aussi clairement
L’article lui-même est court mais dense, donc difficile à lire, et il vaut la peine d’être suivi avec le PDF original
En particulier, la phrase « les systèmes d’automatisation actuels reposent sur les compétences des anciens opérateurs manuels » en est le cœur
Cela illustre la première ironie : pour bien utiliser l’IA, il faut des programmeurs expérimentés, mais pour acquérir cette expérience, il faut programmer soi-même
C’est un texte plein de clairvoyance, que je recommande vivement
Les productions culturelles comme l’art ou l’écriture ne relèvent pas fondamentalement de la résolution de problèmes, mais de l’expression
Or l’IA utilise ces données pour son apprentissage, remplaçant le travail et la rémunération des créateurs, tout en polluant en même temps les « communs » des données d’entraînement
Au final, il faudra soit payer les créateurs, soit voir les modèles s’éloigner de plus en plus de la réalité culturelle contemporaine
Nous sommes simplement à un moment de problème circulaire où l’on attend encore que les conséquences apparaissent
Ensuite aussi, ils devraient consacrer une certaine part de leur temps à des « projets manuels » pour entretenir leurs compétences
Mais même ainsi, la question reste ouverte : est-ce que cela accélère vraiment les choses et améliore le monde ?
Les LLM ont atteint un niveau remarquable, mais sans créer de nouvelles abstractions ni de nouveaux paradigmes, ils ne produisent que des sous-produits bien finis
Cela réduit chez l’humain le besoin ressenti de créer de nouvelles méthodologies
Peut-être qu’un jour les LLM orientés raisonnement résoudront ce problème
L’automatisation par l’IA n’élimine pas les difficultés humaines, elle les déplace ailleurs
Elle les rend au contraire moins visibles et accroît les risques
Au final, même quand l’humain intervient, il faut encore beaucoup d’ajustements derrière
Les anciens opérateurs manuels sont partis à la retraite, et les opérateurs d’usine d’aujourd’hui n’ont pas d’expérience de manipulation manuelle
À la place, ils ont les compétences pour savoir « quoi faire quand la machine tombe en panne »
Beaucoup de systèmes ne permettent même plus un fonctionnement entièrement manuel, mais l’automatisation industrielle reste un succès, et grâce à elle les produits sont devenus bon marché et abondants
Le texte traite de deux problèmes liés à l’usage des agents IA
Premièrement, quand l’agent se trompe, un expert humain doit intervenir immédiatement, mais comme il ne fait plus directement le travail, son expertise se dégrade rapidement
Deuxièmement, l’expert doit devenir gestionnaire du système d’agents, mais comme c’est un rôle peu familier, il ressent une forme d’aliénation au travail
En somme, l’automatisation améliore l’efficacité mais rend l’intervention humaine plus difficile, ce qui augmente la complexité au lieu de permettre un remplacement total
J’avais automatisé des rapports Excel avec PowerBI, et pendant plusieurs mois les résultats étaient faux
Une fois automatisé, l’instinct de vérification avait disparu, et il était devenu bien plus difficile de remonter à l’erreur
C’est pourquoi il faut absolument conserver des routines de vérification lors de l’automatisation
La génération tactile sait s’en servir sans problème, mais dès que quelque chose va mal, l’ancienne génération est nettement avantagée
Avec l’IA, c’est pareil : tant qu’elle n’est pas parfaite, il faudra au bout du compte l’intervention d’experts
Simplement, ce rôle apparaîtra plus rarement, un peu comme celui d’un garagiste
Même avec l’automatisation, les compétences humaines restaient nécessaires
L’IA produit la plupart du temps des plans acceptables, mais quand elle inclut parfois une erreur fatale, c’est à l’humain de la détecter
Puis une autre automatisation vient recouvrir cette complexité, puis encore une autre au-dessus
Quand on voit cette structure circulaire, on a envie de relire Le Capital de Marx
C’était un texte qui m’a rappelé que « les calculatrices sont rapides et précises, mais que nous devons malgré tout apprendre les principes des mathématiques »
L’automatisation de la programmation se situe sur un chemin critique bien plus important qu’une simple calculatrice, donc le risque de perte de compétence est grand
L’IA n’abandonne pas les problèmes, donc le besoin d’expertise restera toujours présent
L’important, c’est de savoir quels nombres il faut calculer
Les jeunes développeurs ne savent même plus écrire eux-mêmes les routines de base, et presque plus personne ne sait manipuler des drivers C
Le texte est intéressant, mais je trouve regrettable qu’en pratique le programmeur y soit réduit à quelqu’un qui ne fait que repérer les erreurs de l’IA
En réalité, on passe encore l’essentiel de son temps à programmer l’IA
L’IA ne sait pas ce qu’il faut construire, ni quand il faut modifier l’existant
Au final, contrairement à l’industrie manufacturière, en programmation c’est toujours l’humain qui doit concevoir le pipeline de production
L’industrie aéronautique travaille depuis longtemps avec cette ironie de l’automatisation
Le pilote automatique gère l’essentiel du vol, mais les pilotes s’entraînent chaque mois aux atterrissages manuels
Cela permet de conserver les compétences tout en bénéficiant des avantages de l’automatisation
À l’inverse, l’industrie logicielle donne la priorité à la productivité à court terme et n’encourage pas ce type d’entraînement
Personnellement, je compte continuer à coder manuellement, mais il sera difficile pour l’ensemble du secteur de faire de même
À noter qu’en aviation aussi, le problème reste bien réel — l’exemple emblématique est le crash du vol Air France 447
Article lié : The Long Way Down – Air France Flight 447
L’article de Bainbridge est intéressant, mais la conférence « Children of the Magenta » qui a suivi est plus pratique
La vidéo YouTube traite de la formation des pilotes à l’automatisation
Les avions de combat modernes (F-22, F-35, etc.) sont conçus pour se concentrer davantage sur la conduite du combat que sur le pilotage lui-même
Autrefois, l’entraînement portait surtout sur l’atterrissage, mais aujourd’hui cette phase est stabilisée par l’assistance informatique, si bien que les pilotes se concentrent sur le jugement stratégique
En programmation aussi, à mesure que l’IA progresse, les humains passeront davantage de temps sur l’analyse tactique des problèmes
Il est facile de comprendre l’assistance au code par IA si on la compare aux niveaux d’automatisation SAE de l’automobile
Nous en sommes actuellement au niveau 2 à 3, où la supervision et la responsabilité humaines restent nécessaires
Avant d’atteindre l’automatisation complète (niveau 5), cette phase transitoire est la plus dangereuse
Au final, sous la pression concurrentielle, tout le monde devra passer au niveau 4 ou plus, ou disparaître
La formule « on reçoit une formation suffisante au leadership avant d’assumer un rôle de direction » me laisse sceptique
En réalité, c’est rarement le cas
Moi aussi, je ressens une érosion des compétences
Mon premier réflexe est d’utiliser un LLM, si bien qu’on vit désormais dans une époque qui exige une discipline consciente, comme pour le sport ou l’alimentation
Seule une partie des gens saura bien maintenir cet équilibre
Ce n’est pas une question de discipline, mais de préserver un seuil minimal de compréhension
La phrase « si ça ne marche pas bien, il faut simplement mieux écrire le prompt » est devenue bien trop familière
Elle montre exactement comment on reporte aujourd’hui la responsabilité sur l’utilisateur de l’IA