La frénésie de l’IA détruit la prise de décision dans le monde entier

• Le taux de réussite des projets d’IA auxquels Hermit Tech a participé ou qu’elle a observés indirectement pendant un an et demi a été de 0 % ; les entreprises font de l’adoption de l’IA elle-même un objectif stratégique, plutôt que de résultats concrets
• Les chatbots internes ne sont pas utilisés à cause d’une documentation médiocre, et les chatbots destinés aux clients ne mesurent même pas correctement s’ils résolvent les problèmes ; pourtant, comme dirigeants, employés et fournisseurs n’ont aucun intérêt à rendre les échecs publics, les annonces de gains de productivité se multiplient
• Dans les organisations de plus de 500 personnes, mettre en doute l’utilité de l’IA met en danger promotions et emploi ; les employés présentent même comme des résultats de l’IA des travaux réalisés sans IA, ou gonflent artificiellement leur consommation de tokens pour correspondre aux indicateurs d’évaluation
• Les dirigeants se taisent eux aussi, car contredire les affirmations des clients, du conseil d’administration ou de leurs pairs peut leur faire perdre un contrat ou leur poste ; ce problème de coordination renforce mutuellement les performances exagérées et les investissements inutiles
• Exiger un élément d’IA dans chaque activité, recrutement ou demande de budget bloque les achats et la communication normaux ; les opérationnels doivent donc vérifier les faits par des entretiens confidentiels et des enquêtes anonymes, et si la situation est figée, se préparer à changer d’emploi ou à passer en contrat indépendant

---

L’échec observé des investissements dans l’IA

• Depuis un an, Hermit Tech s’occupe du développement commercial de l’entreprise et échange avec environ 300 spécialistes dans le monde, ce qui lui a permis d’observer l’adoption de l’IA dans des organisations privées et publiques
• Tous les projets d’IA auxquels l’équipe a participé pendant un an et demi, ou qu’elle a vus indirectement dans le cadre d’autres missions, ont échoué ; même s’il existe des réussites, elle les juge plus proches de l’exception que du résultat habituel
  • L’équipe a refusé toutes les missions de mise en œuvre d’IA et a minimisé son exposition afin que la disparition d’OpenAI n’ait pas d’impact direct sur ses contrats actuels
• Même si des outils d’IA peuvent accélérer certaines tâches, elle estime que le mode et l’ampleur actuels des investissements ne sont pas justifiés
  • Les entreprises ont généralement une faible capacité à mener des projets logiciels, et conservent donc les mêmes facteurs d’échec qu’auparavant
  • Les projets d’IA ajoutent en plus des risques liés à la nouveauté de la technologie
  • Rares sont les entreprises capables de livrer du logiciel de manière fiable tout en assumant ces risques supplémentaires

Des intérêts qui masquent l’échec

• Conseils d’administration, dirigeants, employés, fournisseurs et consultants ont tous intérêt à rendre floue la réussite ou l’échec des projets d’IA
  • Un dirigeant qui reconnaît un échec peut être écarté de son poste
  • Un employé qui parle franchement des problèmes peut être licencié ou ciblé lors d’une réduction d’effectifs
  • Certaines sociétés cotées annoncent des gains de productivité liés à l’IA alors qu’elles n’ont guère fait plus qu’acheter des licences Copilot
• Même poser des questions de base sur les objectifs du projet, ses utilisateurs et ses résultats peut être perçu comme une attaque contre la chaîne de commandement
  • Tant qu’un projet est en cours, l’échec n’est pas encore visible, et l’on peut répondre qu’il avance bien
  • Hermit Tech estime qu’il est difficile d’intervenir avant qu’une crise ne se matérialise ; si un client ne demande pas explicitement de conseils sur une stratégie de données générale, elle ne commence pas par remettre en cause un projet d’IA en cours
• Cette approche s’appuie sur le principe de Gerry Weinberg selon lequel « le conseil consiste à influencer les gens quand on vous l’a demandé »

Les limites des chatbots internes et clients

• Dans les entreprises, les projets d’IA les plus courants sont des chatbots LLM destinés aux employés en interne ou aux clients
• Les chatbots internes se sont très peu diffusés dans l’usage réel
  • Si la documentation de l’entreprise est de mauvaise qualité, le LLM ne peut pas obtenir les informations nécessaires pour répondre
  • Il ne peut utiliser que les informations documentées ou rendues accessibles ; l’IA ne résout donc pas à la place le problème de documentation
• Les chatbots destinés aux clients ont rarement offert une expérience satisfaisante, l’exception étant la transcription en temps réel pendant des consultations médicales
• Les responsables de projet ont tendance à éviter les indicateurs de base, comme l’usage réel de l’outil, ou à choisir des métriques faciles à manipuler

• Le cas du support client Mitsubishi

  • Après une panne de véhicule, un appel à Mitsubishi a abouti à un système de conseil automatisé, à la voix naturelle et aux réponses rapides, qui a enregistré le problème et indiqué qu’un retour serait fait prochainement
  • Six mois plus tard, aucune réponse n’était arrivée
  • Impossible de savoir si la demande avait été enregistrée comme une erreur, ou comptabilisée comme résolue sans intervention humaine
  • Dans les métriques du système, cela pouvait apparaître comme un succès ; le résultat réel a été que le client a décidé de ne plus acheter de véhicule Mitsubishi

Une stratégie d’entreprise devenue profession de foi envers l’IA

• Dans les organisations observées de plus de 500 personnes, il devient de plus en plus nécessaire, pour conserver promotions et emploi, de répéter sa conviction que l’IA va tout changer dans l’activité concernée
• Ce qui est exigé ressemble moins à des idées d’usage concrètes qu’à une profession de foi
  • Ce sont surtout des profils non techniques qui tiennent ce discours, mais des techniciens s’y rallient aussi pour obtenir les faveurs de l’organisation
  • Il est arrivé que quelqu’un affirme que « l’IA est en train de tout changer » sans pouvoir citer un seul usage de LLM dans l’organisation ni une seule tâche réellement transformée
  • Il est aussi arrivé qu’un dirigeant ayant rédigé la stratégie technologique centrée sur l’IA d’une organisation réalisant plus de 2 milliards de dollars de chiffre d’affaires annuel admette n’avoir jamais utilisé d’outil d’IA, ChatGPT compris
• Dans certains cas, il s’agit d’une exagération délibérée pour passer pour un penseur, mais le cas jugé le plus dangereux est celui de personnes sans bagage technique qui croient réellement ce qu’elles disent
• Une organisation a licencié ses meilleurs éléments au motif qu’ils avaient obtenu leurs résultats sans LLM, et a maintenu cette décision jusque dans sa stratégie interne et son propre financement, pas seulement dans sa communication externe

L’usage forcé de l’IA imposé aux spécialistes techniques

• Les sceptiques comme les partisans de l’IA s’accordent sur le fait que forcer l’usage des LLM par la direction est une mauvaise stratégie
  • « Contra Ptacek’s Terrible Article On AI » évalue différemment l’utilité des LLM par rapport à « My AI Skeptic Friends Are All Nuts » de Thomas Ptacek
  • Mais la conclusion est la même : il est inapproprié d’imposer à des professionnels une manière précise de travailler
• Quand une direction non technique rend obligatoires des procédures et outils précis sans l’accord des spécialistes, cela pose le même problème que si le CEO d’un hôpital ou d’une entreprise de génie civil dictait directement aux professionnels des techniques médicales ou de construction

• AI washing et classements de tokens

  • Comme les managers se montrent mécontents lorsqu’un résultat satisfaisant n’a pas utilisé l’IA, des employés travaillent selon leurs méthodes habituelles puis déclarent faussement que Claude l’a fait
  • Certaines organisations tiennent des classements qui valorisent davantage les personnes générant le plus de coûts d’IA ou consommant le plus de tokens
  • Des ingénieurs chargés d’optimiser les systèmes font en sorte que les LLM répètent eux-mêmes leurs prompts afin d’augmenter la consommation
  • Même s’ils jugent la sortie impropre au déploiement, ils la jettent, passent à autre chose et ne gardent que l’usage consommé
  • Un ingénieur a expliqué demander à l’IA de réécrire en Zig l’intégralité d’une copie d’un dépôt Go, puis ignorer le résultat
  • Les personnes ayant manipulé les métriques ainsi n’ont pas été prises, tandis que des personnes ayant visiblement mis en doute la stratégie ont été licenciées
  • Les employés finissent par apprendre qu’il est plus sûr de louer la stratégie IA de la direction

Comment les démos d’IA écrasent le jugement d’achat

• L’une des principales infrastructures déployées par Hermit Tech chez ses clients est Snowflake, une base de données analytique facturée à l’usage
• Cortex de Snowflake est une couche d’IA qui utilise des métadonnées, comme la signification des colonnes de données, pour interroger la base de données de l’entreprise en langage naturel
  • Elle peut répondre à des questions comme « Quel a été le chiffre d’affaires la semaine dernière ? »
  • D’après le souvenir de l’auteur d’une présentation d’un employé Snowflake, même avec une configuration idéale, la précision était d’environ 92 % à cause de la complexité des grandes données d’entreprise
  • Cela signifie qu’environ 1 chiffre sur 10 vu par le CFO peut être faux, avec de sérieux problèmes de gestion du déploiement ; l’outil n’est donc pas jugé adapté à la production
• Pourtant, Cortex permettait facilement de créer une démo impressionnante

• Une démonstration qui faisait ignorer les avertissements

  • Même des clients initialement tièdes vis-à-vis de la proposition voulaient acheter immédiatement après avoir vu une démo d’interrogation de données en langage naturel
  • Hermit Tech a clairement averti que le résultat souhaité ne serait pas atteint, mais les clients voulaient concentrer le budget sur le chatbot, au détriment d’effets de plusieurs millions de dollars obtenables par des approches non IA
  • Hermit Tech a jugé irresponsable d’exploiter ce vide de jugement chez les clients, avec en plus des risques de réputation et juridiques importants ; elle a donc interrompu la vente et retiré Cortex de sa liste de démos
  • La démo avait été construite en environ deux heures en saisissant des descriptions de données dans un navigateur, mais elle fonctionnait déjà mieux que tout ce que des prospects, y compris des sociétés cotées à l’ASX qui communiquaient déjà sur leur usage de l’IA, avaient obtenu grâce à leurs investissements existants
  • Par la suite, Hermit Tech a cessé toute relation commerciale avec les prospects qui manifestaient une obsession forte pour l’IA allant au-delà d’une curiosité passagère
  • Il ne s’agissait pas seulement d’un refus moral : il était aussi difficile d’éviter les risques de réputation et juridiques pendant le processus contractuel
  • Les environnements de management créés par ces clients devenaient eux aussi religieux et inefficaces

Le problème de coordination qui lie les dirigeants

• Certains dirigeants responsables de grands programmes d’IA, ou tenant publiquement des propos exagérés, ne croient pas à leurs propres déclarations
  • Certains responsables IA dans des entreprises de plus d’un milliard de dollars d’ARR considèrent leur poste comme fictif, mais disent l’avoir accepté parce que c’était la seule voie de promotion dans l’organisation
  • Plusieurs CISO sont discrètement sceptiques sur les activités IA, mais craignent de s’y opposer publiquement
• Un cadre d’une entreprise du Fortune 500 a expliqué que, lorsque les dirigeants clients affirment avoir obtenu des gains de productivité de 100x, un fournisseur qui les contredit sape la crédibilité de ces dirigeants et risque de faire annuler le contrat d’entreprise
• Les fournisseurs étant eux-mêmes clients d’autres fournisseurs, chaque équipe dirigeante craint d’être la première sanctionnée si elle contredit les exagérations des autres
• Cela crée un problème de coordination qui rend difficile de parler honnêtement des résultats de l’IA
  • Tant que tout le monde maintient la position existante, chacun peut garder sa place
  • Si une personne nie des performances contraires aux faits, cela peut être reçu comme le fait de traiter ses pairs de menteurs, de lâches ou d’incompétents, et lui coûter son poste
  • Le poste libéré est ensuite attribué à quelqu’un qui suivra de nouveau la position existante
  • Si tout le monde reconnaissait simultanément la situation, elle pourrait changer, mais il n’existe pas de moyen de coordonner cela
• Des membres de conseils d’administration du S&P 500 expriment eux aussi la crainte de devoir exiger des investissements dans l’IA pour conserver leur siège
  • L’un d’eux a déclaré : « investir aussi tôt semble offrir peu de potentiel de hausse et seulement du risque »
  • Environ deux ans plus tard, cette entreprise pesant plusieurs milliards de dollars s’est brandée comme AI-native

Le test de pureté IA qui valide tous les projets

• Parce qu’il est impossible de mettre publiquement en doute la foi dans l’IA, la prise de décision normale des organisations est en train de se figer
• Les employés sont évalués sur des indicateurs facilement manipulables, comme les dépenses IA, et refuser des achats inutiles fait douter de leur loyauté envers la stratégie IA
• Toute proposition affectée par la politique interne doit inclure un élément d’IA, même si sa valeur est incertaine
• De nombreux projets d’IA consistent essentiellement à ajouter une étape IA à un projet existant afin de passer le test de pureté de l’organisation

• Le cas d’une migration d’Oracle vers Snowflake

  • Une organisation migrant une base de données Oracle vers Snowflake a ajouté une étape préparatoire consistant à convertir automatiquement du SQL Oracle en SQL Snowflake avec un LLM
  • L’automatisation a échoué faute d’obtenir les permissions nécessaires, et le fournisseur a converti le SQL manuellement
  • La cause de l’échec n’était pas la capacité de conversion du LLM, mais l’absence de permissions d’automatisation
  • Parce que quelques requêtes SQL peu importantes converties par l’IA ont été copiées-collées, tout le programme a été facturé comme une réussite fondée sur l’IA
  • L’achat réel portait sur une migration de base de données standard visant à abandonner l’ancien système avant le renouvellement des licences
  • À la direction, il a été présenté comme une atteinte des objectifs après avoir « affecté une part significative du budget à l’IA »

Le destin des projets auxquels il est difficile de coller le nom d’IA

• Les véritables projets d’IA, où un LLM est le seul mécanisme central et où réussite ou échec peuvent être clairement jugés à l’aune d’objectifs chiffrés précis, sont rares
• Ce type se rencontre surtout dans des startups, mais certaines ont demandé à Hermit Tech, à la fin d’un échange commercial, de construire à leur place un produit qu’elles présentaient déjà comme terminé
• Si aucun élément d’IA ne peut être ajouté, ou si le porteur refuse de maquiller la proposition, la demande de budget disparaît ou tous les documents doivent être réécrits pour être « suffisamment IA »
• De plus en plus d’entreprises exigent de prouver que l’on a tenté de résoudre un besoin par l’IA avant de demander du personnel supplémentaire
  • Dire que l’IA a été utilisée mais que des effectifs restent nécessaires peut valoir d’être classé parmi les personnes « qui utilisent mal l’IA » et ciblé par une réduction d’effectifs
• À l’exception d’une minorité d’entreprises où l’IA résout réellement une priorité majeure, les grandes organisations ont de plus en plus de mal à se concentrer sur des achats logiciels rationnels, le recrutement de talents, le reporting d’état des projets et l’exécution d’activités importantes

Quand il faut redresser un projet précis

• Pour atteindre un objectif précis, sur un projet donné ou ailleurs, plutôt que changer la croyance IA de toute l’organisation, il faut éviter la confrontation publique

• Conversations individuelles et anonymat

  • Il vaut mieux ne pas soulever les problèmes d’un projet d’IA en réunion de groupe
  • Chaque participant craint d’être identifié comme sceptique devant ses collègues
  • Il faut organiser des entretiens en tête-à-tête, expliquer que l’on accepte l’idée que l’environnement IA puisse être surchauffé, et garantir la protection de l’identité de la personne qui s’exprime
  • Il faut supprimer les indices permettant d’identifier l’auteur de propos, comme des citations directes
  • Si seulement environ 1 personne sur 6 peut parler des problèmes, il peut être préférable de rejoindre une autre organisation ou un autre projet où l’amélioration est plus probable

• Trouver les divisions cachées par des évaluations anonymes

  • Un sondage anonyme demandant d’évaluer de 1 à 10 les chances de réussite d’un programme en cours peut être efficace
  • Le résultat typique observé est une distribution bimodale : la moitié met environ 3, l’autre moitié environ 8
  • Ce type de division apparaît même dans des projets déjà en retard de trois ans
  • Montrer ce résultat au CEO peut confirmer que des informations sur l’état du projet sont cachées

• Pourquoi il faut interroger les vrais utilisateurs

  • Les personnes de terrain qui utilisent l’outil dans leur travail quotidien sont la seule source de données permettant d’évaluer le retour sur investissement
  • Il faut les faire parler dans un environnement où elles sont respectées ; dans les grandes organisations, certains membres peuvent ne pas considérer leurs subordonnés comme des égaux
  • Chez un client, il est apparu que les employés ne savaient même pas qu’ils disposaient de licences pour des outils d’IA, ce qui a fragilisé les affirmations de productivité existantes

• Ne pas entrer en collision directe avec la croyance générale

  • Si l’objectif est de résoudre un problème précis, mieux vaut laisser passer les déclarations générales comme « l’IA va tout changer »
  • Ce n’est qu’après avoir gagné la confiance de la personne au rang le plus élevé que l’on peut contester la perception de la réalité dans l’organisation
  • Cette confiance se construit en réduisant l’anxiété lors de dîners privés plutôt qu’en mettant quelqu’un en difficulté en public
  • Avant d’entrer en réunion, il est difficile de savoir qui a pris quels engagements publics
  • Une personne ayant déjà affirmé que « la productivité a été multipliée par 100 par rapport à l’an dernier » peut être incapable de se rétracter par souci de perdre la face, même si elle le souhaite
  • Même une remarque de bon sens comme « un LLM ne devrait pas déployer du code sans revue humaine » peut rompre une relation naissante
  • Si un objectif d’intérêt public est important, une tactique de survie réaliste peut consister à ajouter un chatbot IA à 10 000 dollars au cœur du projet et à ne parler que de cette partie en réunion

Quand il faut tenir dans l’organisation

• Il faut accepter qu’il soit difficile de résister concrètement à cette situation ; le problème tient moins à l’IA elle-même qu’à une culture d’entreprise dysfonctionnelle
• Passer d’un poste salarié à un statut contractuel peut augmenter la rémunération, éloigner de la politique interne, et donner une date de fin aux situations difficiles à supporter
• Il faut limiter sa consommation d’actualités sur l’IA pour réduire l’usure mentale
  • Éviter les lieux où les nouvelles liées au sujet arrivent en continu, comme Hacker News et Reddit
  • Lire juste assez pour conserver le sens de la réalité, puis s’arrêter
  • Même lorsque l’on se plaint avec des amis, il vaut mieux annoncer l’objectif de la conversation à l’avance
• Si quelqu’un utilise l’IA à mauvais escient sans créer de danger physique immédiat, il vaut mieux acquiescer et passer à autre chose
• Lorsqu’on demande à un programmeur son avis sur l’IA, sauf si l’interlocuteur peut influencer une décision importante, il est recommandé de répondre brièvement « il y a une part d’exagération » puis de changer de sujet

• Quand une masse de code IA envahit le travail

  • Si l’on doit sans cesse relire des PR de 2 000 lignes de code IA de mauvaise qualité, il faut partir du principe que l’organisation finira par épuiser puis licencier les reviewers, et commencer immédiatement à chercher un emploi
  • Il est difficile de convaincre les auteurs de changer leurs méthodes ; mieux vaut préparer son départ tant qu’il reste de l’énergie
  • Même si la recherche d’emploi ralentit le traitement des tâches, le même problème surviendra plus tard à cause de l’épuisement et de la dépression si rien n’est fait

• Quand un manager communique avec des phrases générées par IA

  • Si un manager répond avec du texte manifestement généré par IA, répondre de la même manière réduit la charge mentale, et il faut chercher un nouveau poste
  • Ce type de manager peut considérer positivement l’usage de l’IA, plutôt que prendre comme une impolitesse le fait qu’un employé réponde avec de l’IA
  • Si l’on reçoit en plus l’ordre de maximiser l’usage de tokens, il faut se préparer à quitter l’organisation actuelle
  • Des entreprises où ce problème est moindre existent, mais il s’agit souvent de petites structures peu visibles sur les plateformes de recrutement ; les trouver peut prendre des mois, donc il faut commencer tôt

Les problèmes qui resteront à long terme

• Même si la bulle actuelle de l’IA finit un jour par éclater, les caractéristiques irrationnelles installées au sommet pourront se réactiver autour d’une autre mode
• Certaines organisations peuvent rester idéologiquement capturées jusqu’à leur effondrement complet, comme certaines ne sont jamais sorties de la fièvre blockchain
• Pour l’instant, il faut obtenir, autant que possible, des données confidentielles et des retours du terrain afin de restaurer un jugement normal, et dans les organisations impossibles à changer, donner la priorité à son propre sens de la réalité et à ses chances de survie