Le pari de 344 milliards de dollars de l’IA sur les « modèles de langage » paraît fragile

• Cette année, les quatre géants mondiaux de la tech dépensent 344 milliards de dollars dans l’IA, en investissant l’essentiel dans des centres de données destinés à l’entraînement et à l’exploitation des grands modèles de langage (LLM)
• Les LLM se sont déjà imposés auprès du grand public, au point que plus de 700 millions de personnes utilisent ChatGPT chaque semaine, mais leur rythme de progression ralentit et leurs limites — hallucinations, coûts élevés, gains de performance minimes — deviennent visibles
• Le chinois DeepSeek a surpris le marché avec un modèle plus petit et plus efficace, tandis que des entreprises comme Covariant (robotique) et Atman Labs (approche non fondée sur le deep learning) explorent une IA réactive au monde physique
• Selon des recherches récentes, les capacités de raisonnement social des LLM reposent sur un petit nombre de caractéristiques et restent fragiles face à de légères modifications ; OpenAI a aussi reconnu la possibilité d’un échec des garde-fous pour les publics vulnérables
• Des experts critiquent les LLM comme de simples « générateurs de tokens » et avertissent qu’une obsession pour une technologie unique peut accroître l’instabilité du marché, d’où la nécessité de se préparer à l’émergence de nouvelles approches

---

Investissements massifs dans l’IA et centralité des LLM

• Tous les investisseurs savent qu’il ne faut pas « mettre tous ses œufs dans le même panier », alors pourquoi la Silicon Valley mise-t-elle sur une seule manière de construire l’intelligence artificielle (IA) ?
• Les quatre plus grandes entreprises technologiques mondiales investiront 344 milliards de dollars dans l’IA en 2025, principalement dans la construction de centres de données dédiés à l’entraînement et à l’exécution des grands modèles de langage (LLM)
• Les LLM traitent des entrées multimodales comme le texte, l’audio et les contenus visuels, et reposent sur la technique de prédiction du prochain token dans une séquence
• Les chatbots grand public progressent rapidement, certaines startups de l’IA commencent à générer des revenus et les entreprises améliorent déjà leur productivité initiale grâce à l’IA générative
• Les LLM sont la première technologie d’IA à avoir atteint une adoption grand public, et ChatGPT compte plus de 700 millions d’utilisateurs chaque semaine
• Certaines startups ont atteint le seuil de rentabilité, mais dans des domaines sensibles comme la santé ou le droit, le problème des hallucinations limite encore la confiance

Les risques d’une obsession pour une technologie unique

• Se concentrer sur une seule technologie est toutefois risqué, comme l’ont montré par le passé BlackBerry, resté attaché au clavier physique face à l’écran tactile d’Apple, ou Yahoo, dont le pari sur le portail a été dépassé par la domination de Google dans la recherche
• Les LLM risquent eux aussi de suivre cette voie, et si de nouvelles approches de l’IA émergent, ces investissements massifs pourraient se retrouver échoués
• En janvier, le chinois DeepSeek a démontré le potentiel d’approches non conventionnelles en dévoilant un LLM plus petit et plus efficace, tout en ouvrant son architecture, ce qui a surpris le marché

Exploration d’approches alternatives

• Les progrès de l’IA se construisent en combinant des intuitions du passé avec de nouvelles idées, et la quête de machines superintelligentes exige elle aussi une approche diversifiée
• Des startups comme Covariant s’éloignent du centrage sur les LLM en développant des logiciels de perception spatiale plutôt qu’en analysant seulement des motifs de données
• Les entreprises de robotique, de drones, de découverte de médicaments et de modélisation climatique ont besoin de réactions physiques en temps réel, ce qui les éloigne de la centralité des LLM
• Le britannique Atman Labs remet au jour des idées oubliées d’avant le deep learning, dans un esprit qui rappelle l’approche multi-pistes des débuts de Google DeepMind (par exemple AlphaGo, l’apprentissage par renforcement)

Limites des LLM et problèmes de fiabilité

• Des fissures apparaissent désormais dans la logique des grands modèles de langage : des coûts énormes jusqu’aux perspectives de rendements décroissants
• Les derniers modèles d’OpenAI ou de Google ne sont que légèrement meilleurs que les précédents, même en y injectant davantage d’argent
• Pourtant, les hallucinations ne disparaissent pas et restent un frein à l’adoption dans des entreprises actives dans des domaines comme l’analyse médicale ou juridique
• Une récente étude de Nature montre que les capacités de raisonnement social des modèles de langage dépendent d’un très petit nombre de caractéristiques et peuvent s’effondrer à la moindre modification, ce qui soulève des questions fondamentales de fiabilité
• OpenAI a reconnu que, lors de conversations prolongées, les garde-fous pour les publics vulnérables pouvaient céder ; un incident a d’ailleurs vu un adolescent recevoir des instructions d’automutilation

Critiques du secteur et perspectives

• Fei-Fei Li : « Dans la nature, il n’y a pas de langage ; le monde obéit aux lois de la physique », une critique des limites d’une approche centrée sur le langage
• Alex Karp (CEO de Palantir) : « La Silicon Valley a survendu les LLM »
• Yann LeCun : les LLM sont une « impasse » vers des machines plus intelligentes, de simples « générateurs de tokens » qui ne peuvent ni comprendre leur environnement physique ni planifier à l’avance
• En conclusion, les LLM vont perdurer, mais s’acharner sur une solution unique est risqué ; investisseurs et entreprises doivent se préparer à un possible changement de paradigme technologique

[mhj5730]

À partir de GPT-5, on voit qu’ils essaient de grappiller des performances à grand-peine avec le raisonnement, mais même ça ne semble pas facile. Des réponses qui pourraient s’arrêter à une réponse correcte et mesurée s’étalent désormais sur des dizaines de lignes, et ça devient vraiment pesant. Snif snif.

[GN⁺]

Avis Hacker News

• Voir sur https://archive.is/2rFK4

• Cette technologie est extrêmement impressionnante en démo, et on voit bien que tout le monde s’enthousiasme vraiment ; voir des collègues ou des dirigeants la présenter fièrement ou enchaîner les blagues sans fin me rappelle l’époque où les gens recevaient leurs premiers téléphones portables et les montraient aux autres. Cela crée une tendance à surestimer sa valeur réelle. Comme le mobile, c’est une avancée importante, mais à court terme son impact ne sera probablement pas à la hauteur du battage médiatique, surtout quand, sur les forums anonymes, beaucoup soulignent que « c’est survendu », alors que dans les rôles professionnels, tout le monde finit par suivre l’ambiance. C’est un peu comme si tout le monde savait ce qui se passe, mais voulait quand même que la fête continue.

  • Quand mon patron met trop l’accent sur l’IA et dit à toute l’entreprise de miser à fond dessus, dans un marché de l’emploi aussi difficile qu’aujourd’hui, beaucoup de gens suivent par peur. D’autant plus qu’on a le sentiment que l’IA réduit déjà les emplois. Certains continuent discrètement à utiliser à fond des outils concrets qui leur conviennent, comme les LSP ou le refactoring. Sur le terrain, peu de professionnels peuvent se permettre de dire courageusement que « le roi est nu ».

  • Il est intéressant de constater que, sur les forums anonymes, on voit au contraire beaucoup d’avis présentant l’IA comme une révolution qui changera une vie entière. Au moins, c’est plus facile d’observer ce point de vue quand les gens ne se font pas passer pour des experts. Dans un cadre professionnel, on voit plutôt deux groupes. Ceux qui utilisaient l’IA en dehors de leur domaine d’expertise la couvrent d’éloges de manière exagérée, comme s’ils découvraient pour la première fois la révolution du téléphone portable. En revanche, lorsqu’ils appliquent l’IA à leur véritable domaine de spécialité, ils ressentent directement ce qu’elle a de surestimé et deviennent des optimistes plus prudents. À l’inverse, ceux qui l’utilisent déjà le mieux dans leur propre spécialité restent positifs, mais le disent généralement avec détachement : cela fonctionne bien dans des environnements limités.

  • On oublie facilement qu’il reste encore beaucoup de fruits à portée de main pour exploiter cette technologie au maximum. Les gens ne font encore que des intégrations très basiques. Même à ce stade précoce, on peut faire des choses vraiment impressionnantes avec les LLM. Par exemple, avec Cursor, on peut moderniser une ancienne base de code et créer de nouvelles fonctionnalités qu’on voulait depuis longtemps. J’y ai passé quelques heures, alors qu’avec les méthodes d’avant cela m’aurait pris une à deux semaines. Le potentiel est donc énorme. Cela dit, le battage médiatique me paraît parfois un peu déconnecté de mon expérience réelle, donc ma perception est peut-être différente.

  • Il n’y a ni barres d’erreur ni intervalles de confiance dans ces systèmes. Au fond, ce sont des beaux parleurs qui n’ont qu’un seul « talent » : produire des résultats qui ont vaguement l’air plausibles. Bien sûr, il existe beaucoup de cas d’usage adaptés, mais il reste encore trop de trous, impossibles à prédire même en ampleur et impossibles à corriger, ce qui limite leur efficacité.

  • La comparaison avec le smartphone est intéressante. Les smartphones ont bel et bien changé le monde et, malgré tout le hype, ce changement a été réel. Je me demande si vous pensez que les LLM et l’IA produiront eux aussi un changement véritable.

• Je me demande quel est le plan pour rentabiliser ces investissements. Même si toutes les grandes entreprises américaines payaient 100 000 dollars d’abonnement par an et que tous les foyers versaient 20 dollars par mois, cela semblerait très insuffisant pour récupérer la mise une fois pris en compte les coûts d’inférence et les autres frais. Faut-il une découverte majeure dans le médical, par exemple ? Les nouvelles sur gpt-bio et les iPSC d’OpenAI étaient vraiment impressionnantes, mais il reste un délai énorme avant toute commercialisation. Je me demande quel est le vrai plan.

  • Si je me souviens bien, l’objectif initial était l’AGI. Il ne s’agissait pas de chercher un ROI sur les services d’IA actuels. L’idée était que, si l’AGI arrivait, celui qui l’obtiendrait aurait un monopole, donc tout le monde investissait comme s’il achetait un billet de loterie. Mais comme il n’y a pas eu de progrès exponentiels durant l’année écoulée, le rêve de l’AGI semble un peu en perte de vitesse.

  • Le plan visait depuis le début le travail humain. Certains métiers sont déjà entièrement remplacés par l’IA, et pour le reste elle augmente fortement la productivité. La valeur économique est énorme. Même sans AGI, l’automatisation fondée sur l’IA remplace déjà de façon significative le travail « le moins cher et le plus facile à substituer ». Des tâches autrefois externalisées vers des centres d’appels en Inde migrent progressivement vers les data centers. Les grandes entreprises de l’IA croient qu’en continuant à investir dans la R&D et la capacité de calcul, elles finiront par atteindre l’AGI.

  • Si l’IA ne vous licencie pas, elle ne peut pas financer son propre coût.
    If AI Doesn’t Fire You, It Can’t Pay For Itself

  • Si les LLM étaient capables de doubler l’efficacité de l’ensemble des cols blancs, les grandes entreprises seraient obligées de payer bien plus que 100 000 dollars par an. Si elles versaient ne serait-ce que 25 % des économies réalisées en remplaçant la moitié des postes, cela générerait assez de revenus pour que les valorisations actuelles paraissent très bon marché.

  • 100 000 dollars par an, c’est pratiquement rien. Cela représente grosso modo 10 000 dollars par employé ; en supposant 100 000 dollars de coût total par salarié, salaire et avantages compris, une hausse de productivité de seulement 10 % aurait déjà un effet majeur. Pour une entreprise de 10 000 personnes, on parle de 100 millions de dollars par an.

• Je n’ai pas vraiment l’intuition de ce que représentent 344 milliards de dollars, mais la capitalisation totale du marché actions américain est de 62 800 milliards de dollars. Le ratio CAPE de Shiller (prix actuel / bénéfices moyens sur 10 ans) est d’environ 38, ce qui donne des bénéfices annuels moyens sur 10 ans d’environ 1 700 milliards de dollars. Donc 344 milliards représentent à peu près un cinquième des bénéfices annuels moyens du marché américain. C’est une façon un peu plus concrète de se le représenter.

  • En ce moment je gère moi-même mon portefeuille et j’ajuste le rendement attendu (PIB + dividendes) en fonction du risque pour estimer les rendements par pays ou région, avec un rééquilibrage une ou deux fois par an. Si on suppose que tout cela est presque entièrement une bulle, je me demande comment il faudrait ajuster les bénéfices du marché américain, surtout pour l’appliquer à un investissement indiciel centré sur les valeurs IA.

  • Cela dit, les 344 milliards de dollars sont un chiffre cumulé, pas annuel.

• Ce que nous avons aujourd’hui, c’est une excellente interface qui permet aux utilisateurs d’accéder sans friction à des systèmes très complexes, pour le travail comme pour les usages personnels. Mais ce n’est pas encore l’essence même de la chose ; cela reste une mince couche superficielle. Je doute que cette révolution vaille au final des milliers de milliards de dollars, mais heureusement ce n’est pas mon problème, donc je dors tranquille.

• Cet « article » est un appât à clics : un titre sensationnaliste, presque aucune substance, et seulement des questions creuses du type « c’est utile dans certains cas, alors pourquoi les grandes entreprises investissent-elles autant, alors que de la pure R&D serait peut-être préférable ? ».

• Comme à l’époque des débuts du cinéma, quand les gens craignaient de se faire percuter par un train, je suis encore du côté de ceux qui pensent que les machines raisonnent.

• Il y a clairement une bulle sur le marché actuel. Le nombre de startups misant sur l’IA a explosé récemment, et comme elles cherchent à se différencier dans les mêmes catégories de produits, tous les détails techniques sont transformés en slogans marketing. Du point de vue des dirigeants, même si dix startups promettent « le meilleur chatbot une fois entraîné sur nos données », il est difficile de savoir s’il s’agit d’un véritable entraînement ou simplement d’un ajustement des prompts. Ce genre de choses s’est déjà produit, l’exemple le plus parlant étant le « deep research » et autres. Ce marketing aide la croissance, mais nuit à la confiance. Une startup a récemment levé une série A en parlant d’« apprentissage fondé sur l’expérience », alors qu’elle ne faisait en pratique qu’ajouter de la mémoire au prompt pour améliorer les performances — on peut la retrouver facilement. Cela ne veut pas dire qu’il n’y a pas d’idées innovantes. Personnellement, je pense que le préentraînement a largement rempli son objectif initial. Avant, cet objectif lui-même était flou, puis avec la montée du RL on a commencé à en avoir une idée intuitive. Le préentraînement et le calcul au moment du test sont essentiels pour accumuler des priors généraux, c’est-à-dire une forme de connaissance préalable permettant de résoudre des problèmes variés comme un humain. Parfois, quand cela ne suffit pas, il faut un apprentissage supplémentaire via RLVR. C’est encore très précoce, mais je suis optimiste : cela pourrait produire une nouvelle courbe de scaling.

• Les entreprises doivent impérativement investir dans l’IA, qu’elles aient beaucoup d’argent ou non, parce que les LLM menacent les modèles économiques existants et qu’il faut agir en amont. Si elles ne prennent pas les devants, c’est toute l’économie américaine qui risque d’être ébranlée. Si la big tech américaine perd ses revenus publicitaires mondiaux — Meta, Google — elle pourrait se retrouver réduite à une coquille vide du jour au lendemain, car si chaque pays ou bloc économique développe et adopte ses propres produits, remplacer les produits américains devient trop facile. L’économie américaine a en réalité trop dépendu des flux de trésorerie des FAANG, qui servaient de moteur à d’autres secteurs. Cela explique aussi pourquoi ces dîners avec Trump ont eu lieu. Si cette dynamique autour de l’IA s’affaiblit, les États-Unis pourraient faire face à un avenir économique très instable.

• Si Oracle bouge autant sur le marché, c’est parce qu’OpenAI s’est engagée à transférer massivement ses charges de travail vers son cloud. En réalité, c’est une stratégie d’« ingénierie » financière qui privilégie le chiffre d’affaires plutôt que le bénéfice, notamment en repoussant au maximum les dépenses d’investissement (CapEx) dans le futur. En bref, c’est un bon exemple de l’excès de la bulle IA actuelle. Selon une récente analyse de l’Economist, le marché n’est plus mû par le « risque », mais par la peur des pertes, ou la peur de rater quelque chose, le FOMO — et aujourd’hui ce FOMO est à son comble.
  Want better returns? Forget risk, focus on fear (Economist)

  • Cette envolée d’Oracle et ses prévisions de revenus donnent complètement une impression de jumping the shark. Vu la nature même d’Oracle, je suis prudent avant d’y parier, mais cette fois j’en viendrais presque à vouloir prendre une position short.

  • Le FOMO est vraiment à un niveau grave. Le marché actions actuel évolue comme l’ancienne bulle crypto.