- Cette année, les quatre géants mondiaux de la tech dépensent 344 milliards de dollars dans l’IA, en investissant l’essentiel dans des centres de données destinés à l’entraînement et à l’exploitation des grands modèles de langage (LLM)
- Les LLM se sont déjà imposés auprès du grand public, au point que plus de 700 millions de personnes utilisent ChatGPT chaque semaine, mais leur rythme de progression ralentit et leurs limites — hallucinations, coûts élevés, gains de performance minimes — deviennent visibles
- Le chinois DeepSeek a surpris le marché avec un modèle plus petit et plus efficace, tandis que des entreprises comme Covariant (robotique) et Atman Labs (approche non fondée sur le deep learning) explorent une IA réactive au monde physique
- Selon des recherches récentes, les capacités de raisonnement social des LLM reposent sur un petit nombre de caractéristiques et restent fragiles face à de légères modifications ; OpenAI a aussi reconnu la possibilité d’un échec des garde-fous pour les publics vulnérables
- Des experts critiquent les LLM comme de simples « générateurs de tokens » et avertissent qu’une obsession pour une technologie unique peut accroître l’instabilité du marché, d’où la nécessité de se préparer à l’émergence de nouvelles approches
Investissements massifs dans l’IA et centralité des LLM
- Tous les investisseurs savent qu’il ne faut pas « mettre tous ses œufs dans le même panier », alors pourquoi la Silicon Valley mise-t-elle sur une seule manière de construire l’intelligence artificielle (IA) ?
- Les quatre plus grandes entreprises technologiques mondiales investiront 344 milliards de dollars dans l’IA en 2025, principalement dans la construction de centres de données dédiés à l’entraînement et à l’exécution des grands modèles de langage (LLM)
- Les LLM traitent des entrées multimodales comme le texte, l’audio et les contenus visuels, et reposent sur la technique de prédiction du prochain token dans une séquence
- Les chatbots grand public progressent rapidement, certaines startups de l’IA commencent à générer des revenus et les entreprises améliorent déjà leur productivité initiale grâce à l’IA générative
- Les LLM sont la première technologie d’IA à avoir atteint une adoption grand public, et ChatGPT compte plus de 700 millions d’utilisateurs chaque semaine
- Certaines startups ont atteint le seuil de rentabilité, mais dans des domaines sensibles comme la santé ou le droit, le problème des hallucinations limite encore la confiance
Les risques d’une obsession pour une technologie unique
- Se concentrer sur une seule technologie est toutefois risqué, comme l’ont montré par le passé BlackBerry, resté attaché au clavier physique face à l’écran tactile d’Apple, ou Yahoo, dont le pari sur le portail a été dépassé par la domination de Google dans la recherche
- Les LLM risquent eux aussi de suivre cette voie, et si de nouvelles approches de l’IA émergent, ces investissements massifs pourraient se retrouver échoués
- En janvier, le chinois DeepSeek a démontré le potentiel d’approches non conventionnelles en dévoilant un LLM plus petit et plus efficace, tout en ouvrant son architecture, ce qui a surpris le marché
Exploration d’approches alternatives
- Les progrès de l’IA se construisent en combinant des intuitions du passé avec de nouvelles idées, et la quête de machines superintelligentes exige elle aussi une approche diversifiée
- Des startups comme Covariant s’éloignent du centrage sur les LLM en développant des logiciels de perception spatiale plutôt qu’en analysant seulement des motifs de données
- Les entreprises de robotique, de drones, de découverte de médicaments et de modélisation climatique ont besoin de réactions physiques en temps réel, ce qui les éloigne de la centralité des LLM
- Le britannique Atman Labs remet au jour des idées oubliées d’avant le deep learning, dans un esprit qui rappelle l’approche multi-pistes des débuts de Google DeepMind (par exemple AlphaGo, l’apprentissage par renforcement)
Limites des LLM et problèmes de fiabilité
- Des fissures apparaissent désormais dans la logique des grands modèles de langage : des coûts énormes jusqu’aux perspectives de rendements décroissants
- Les derniers modèles d’OpenAI ou de Google ne sont que légèrement meilleurs que les précédents, même en y injectant davantage d’argent
- Pourtant, les hallucinations ne disparaissent pas et restent un frein à l’adoption dans des entreprises actives dans des domaines comme l’analyse médicale ou juridique
- Une récente étude de Nature montre que les capacités de raisonnement social des modèles de langage dépendent d’un très petit nombre de caractéristiques et peuvent s’effondrer à la moindre modification, ce qui soulève des questions fondamentales de fiabilité
- OpenAI a reconnu que, lors de conversations prolongées, les garde-fous pour les publics vulnérables pouvaient céder ; un incident a d’ailleurs vu un adolescent recevoir des instructions d’automutilation
Critiques du secteur et perspectives
- Fei-Fei Li : « Dans la nature, il n’y a pas de langage ; le monde obéit aux lois de la physique », une critique des limites d’une approche centrée sur le langage
- Alex Karp (CEO de Palantir) : « La Silicon Valley a survendu les LLM »
- Yann LeCun : les LLM sont une « impasse » vers des machines plus intelligentes, de simples « générateurs de tokens » qui ne peuvent ni comprendre leur environnement physique ni planifier à l’avance
- En conclusion, les LLM vont perdurer, mais s’acharner sur une solution unique est risqué ; investisseurs et entreprises doivent se préparer à un possible changement de paradigme technologique
Aucun commentaire pour le moment.