Apocalypse de l’IA : 80 % des projets échouent et des milliards de dollars sont gaspillés
(salesforcedevops.net)- Un nouveau rapport de la RAND Corporation montre que, malgré le hype autour de l’IA, la plupart des projets échouent
- RAND : l’un des principaux think tanks américains. Son nom renvoie à R&D. L’organisation a été fondée par Douglas Aircraft en 1948
- Ce rapport, fondé sur des entretiens avec 65 data scientists et ingénieurs expérimentés, met en lumière les causes profondes de ces échecs et propose une feuille de route vers la réussite
Échec du leadership : les aveugles guidant les aveugles
- La principale cause d’échec des projets d’IA n’est pas la technologie, mais la direction générale
- Les dirigeants comprennent ou communiquent souvent mal le problème que l’IA doit résoudre
- Ils nourrissent des attentes exagérées vis-à-vis de l’IA et sous-estiment le temps et les ressources nécessaires à une mise en œuvre réussie
- Faute de communication claire entre la direction et les équipes techniques, et d’une compréhension commune des objectifs du projet, les initiatives IA sont souvent condamnées dès le départ
- Dans de nombreuses organisations, la patience nécessaire à une mise en œuvre réussie de l’IA fait défaut. Les projets sont souvent abandonnés en cours de route ou redirigés vers de nouvelles priorités avant même d’avoir pu démontrer leur valeur réelle
Dilemme des données : garbage in, garbage out
- La qualité des données apparaît comme le deuxième obstacle majeur : « 80 % de l’IA, c’est le travail ingrat de la data engineering »
- De nombreuses organisations ne disposent pas d’assez de données de haute qualité pour entraîner efficacement des modèles d’IA
- Les jeux de données legacy peuvent ne pas convenir à l’entraînement de l’IA
- Le manque de data engineers entraîne une perte de connaissances et une hausse des coûts des projets
- L’absence d’expertise métier au sein des équipes IA peut conduire à une mauvaise interprétation des données et à des défauts de conception des modèles
La course aux objets brillants : quand les ingénieurs perdent leur concentration
- Les ingénieurs eux-mêmes contribuent parfois à l’échec des projets
- Beaucoup de data scientists et d’ingénieurs sont attirés par l’usage des dernières avancées techniques, même lorsqu’une solution plus simple suffirait
- Cette tendance à poursuivre des « objets brillants » peut déboucher sur des solutions inutilement complexes, difficiles à maintenir et à expliquer aux parties prenantes
- Les organisations doivent trouver un équilibre entre innovation et pragmatisme. Il est important de suivre les évolutions technologiques, mais l’essentiel reste de résoudre efficacement de vrais problèmes métier
Infrastructure : la base peu glamour du succès
- Le manque d’investissement dans l’infrastructure apparaît comme un autre facteur majeur d’échec des projets d’IA
- Beaucoup d’entreprises tentent de lancer des projets d’IA sans avoir d’abord mis en place les fondations nécessaires
- Les organisations doivent adopter une vision plus globale de la mise en œuvre de l’IA. Cela signifie investir dans des pipelines de données robustes, des systèmes automatisés de test et de déploiement, ainsi que des outils de monitoring des performances des modèles en production
- Beaucoup d’organisations peinent à passer d’un prototype IA réussi à un système prêt pour la production. Ce problème du « dernier kilomètre » fait souvent dérailler des projets prometteurs
Recommandations : un retour à la réalité pour les ambitions IA
- Le rapport RAND formule les recommandations suivantes pour aider les organisations à améliorer le taux de réussite de leurs projets IA :
- Veiller à ce que les équipes techniques comprennent l’objectif du projet et son contexte métier. Le rapport souligne que « les malentendus et les erreurs de communication sur l’intention et l’objectif d’un projet sont la raison la plus fréquente de l’échec des projets d’IA ». Cela suppose un dialogue continu entre équipes métier et équipes techniques, ainsi qu’un effort pour construire une compréhension et un vocabulaire communs.
- Choisir des problèmes durables. « Avant de lancer un projet d’IA, les dirigeants doivent s’assurer que chaque équipe produit est prête à s’engager pendant au moins un an sur la résolution d’un problème spécifique. » Cette recommandation va à l’encontre de la recherche de résultats rapides ou des changements constants de priorité. En se concentrant sur des problèmes à fort impact et de long terme, les organisations peuvent donner à leurs initiatives IA le temps et les ressources nécessaires à leur réussite.
- Se concentrer sur le problème, pas sur la technologie. « Courir après les dernières technologies IA pour elles-mêmes est l’un des chemins les plus fréquents vers l’échec. » Le rapport insiste sur l’importance de choisir l’outil adapté à la tâche, même s’il ne s’agit pas de la solution la plus à la pointe. Cela peut exiger un changement dans la façon dont les organisations évaluent et récompensent leurs équipes techniques.
- Investir dans l’infrastructure. « Un investissement préalable dans l’infrastructure pour soutenir la gouvernance des données et le déploiement des modèles peut réduire de façon significative le temps nécessaire à l’achèvement des projets d’IA. » Ces investissements sont peut-être moins spectaculaires que la recherche en IA, mais ils sont essentiels à la réussite sur le long terme. Cela inclut la mise en place de pipelines de données solides, le versioning des modèles et des données, ainsi que le développement de systèmes pour surveiller et maintenir les solutions d’IA déployées.
- Comprendre les limites de l’IA. « L’IA n’est pas une baguette magique capable de résoudre des problèmes difficiles. Dans certains cas, même les modèles d’IA les plus avancés ne peuvent pas automatiser des tâches complexes. » Le rapport appelle à une évaluation plus réaliste de ce que l’IA peut et ne peut pas faire, et invite les organisations à revoir leurs attentes à la baisse pour se concentrer sur les domaines où l’IA peut réellement créer de la valeur.
Le point de vue du monde académique : publish or perish
- L’étude s’est également penchée sur la recherche académique en IA et a constaté que la pression de publier des articles et la quête de prestige prenaient souvent le pas sur les applications concrètes
- « Si un projet d’IA ne débouchait pas sur une publication scientifique, il n’était pas perçu comme un succès », note le rapport, soulignant le décalage entre les incitations académiques et l’impact dans le monde réel
- Cette approche centrée sur la publication peut pousser les chercheurs à privilégier des approches nouvelles mais peu réalistes, plutôt que des améliorations progressives susceptibles d’avoir un impact significatif dans le monde réel
- Le rapport suggère que les institutions académiques devraient envisager d’élargir leurs critères de réussite en recherche IA afin d’inclure des indicateurs liés aux applications concrètes ou aux collaborations industrielles
- L’étude a également révélé que de nombreux chercheurs du monde académique avaient du mal à accéder à des jeux de données réels de haute qualité. Cela peut creuser le fossé entre recherche académique et applications concrètes
- Le rapport recommande de renforcer la coopération entre le monde académique, l’industrie et les agences gouvernementales afin de fournir aux chercheurs un meilleur accès à des données plus pertinentes, tout en maintenant les mesures nécessaires de confidentialité et de sécurité
Un signal d’alarme pour l’industrie de l’IA
- Ce rapport de la RAND joue un rôle salutaire de retour à la réalité pour l’industrie de l’IA
- Le potentiel de l’IA reste immense, mais la voie vers une mise en œuvre réussie est semée de défis
- Les organisations doivent combler l’écart entre le battage médiatique et la réalité, et se concentrer sur des fondamentaux solides comme la qualité des données, l’infrastructure et une communication claire entre les équipes techniques et métier
- Comme l’a fait remarquer avec justesse une personne interrogée : « Les parties prenantes veulent être impliquées dans le processus. Elles n’aiment pas qu’on leur dise : “Cela prend plus de temps que prévu, je reviens vers vous dans deux semaines.” Elles sont curieuses. » Cela souligne la nécessité d’une communication continue et transparente tout au long des projets d’IA, afin que toutes les parties prenantes restent informées et impliquées
- Le rapport insiste également sur l’importance de la patience et de la persévérance dans le développement de l’IA. Les gains rapides sont rares, et les organisations doivent être prêtes à s’engager sur le long terme pour tirer des bénéfices substantiels de leurs initiatives IA. Cela peut exiger un changement de culture et d’attentes, en sortant d’une logique de court terme pour adopter une vision plus stratégique et durable de la mise en œuvre de l’IA
- En tirant les leçons de ces constats et en adoptant une approche plus réaliste et plus patiente du développement de l’IA, les organisations peuvent accroître leurs chances de succès dans ce domaine transformateur
« L’avenir de l’IA est prometteur, mais seulement pour celles et ceux qui sauront surmonter les défis très humains qui jalonnent ce parcours. À mesure que le secteur gagne en maturité, ceux qui sauront équilibrer innovation et pragmatisme, et allier excellence technique et sens des affaires, seront les mieux placés pour exploiter le véritable potentiel de l’IA. »
6 commentaires
Si les entreprises peuvent seulement supporter l'échec...
Au final, ceux qui tiennent bon l'emportent.
C’est un post auquel j’adhère énormément ^^ Si je devais chipoter un tout petit peu… dans ce contexte, « Publish » se traduirait plus naturellement par « publication d’un article scientifique » que par « édition ».
Une personne brillante avait posé la question essentielle il y a longtemps... Cela rapportera-t-il de l’argent ?
Les entreprises cherchent à générer rapidement des profits, vendent juste des trucs estampillés IA par-ci par-là, et le niveau d’attente des utilisateurs correspond probablement à des résultats issus d’au moins dix ans d’investissement... donc oui, c’est difficile.
Imaginez que des chiffres de faux états financiers générés par un LLM soient transmis par erreur aux investisseurs : dans ce cas, aucun dirigeant rationnel ne s’enthousiasmerait autant pour les LLM. J’ai l’impression que, pour certaines personnes qui s’obstinent malgré toutes les explications, une expérience humiliante leur servira de leçon.
Avis Hacker News
Rapport RAND : il indique que « les acteurs du secteur comprennent mal ou communiquent mal les problèmes qui devraient être résolus par l’IA »
Problème d’échec des investissements : le problème n’est pas que 80 % échouent ; quelques cygnes noirs parmi les 20 % restants peuvent suffire à rendre l’ensemble des investissements rentable
Lien vers le rapport Rand : Rand Report
Problème de mésusage de l’IA : les entreprises donnent souvent pour consigne de « mettre de l’IA partout »
Taux de réussite des startups : la règle des 80/20 est préférable au fait que 90 % des startups échouent dans les 3 ans
L’histoire se répète : il existe le cas de DART, introduit en 1991, qui a compensé d’ici 1995 le financement de la recherche en IA de la DARPA
Problème des fonctionnalités IA : si les fonctionnalités IA sont maintenues, c’est parce que la direction est excessivement obsédée par l’IA
Taux de réussite en R&D : dans les technologies de pointe, voir 20 % des projets réussir peut déjà être un très bon résultat
Remplacement du code par l’IA : certains restent sceptiques face à l’affirmation selon laquelle l’IA remplacera la programmation
Site web hors service : le site Wordpress est tombé en panne, incapable d’absorber le trafic de HN