- « Il faut que le marché soit irrationnel pour pouvoir survivre »
Quelque chose cloche
- Construire des grands modèles de langage coûte très cher
- OpenAI dépense 7 milliards de dollars par an en recherche, nouveaux services d’IA et embauche
- Anthropic devrait aussi dépenser 2,7 milliards de dollars cette année
- Facebook investit lui aussi des milliards de dollars
- Cela ne deviendra pas moins cher
- À mesure que les modèles progressent, la recherche devient plus difficile et la puissance de calcul nécessaire augmente aussi
- Créer de nouveaux modèles exige davantage de calculs mathématiques, et des calculs plus difficiles
- Malgré ces coûts, les gens continuent de construire de nouveaux modèles
- Les gens croient que les LLM représentent le prochain âge d’or technologique, donc ils continueront d’investir
- La nature humaine pousse à rendre toute chose plus rapide, plus grande et plus puissante
- Si le secteur continue de produire de nouveaux modèles, la valeur des modèles existants chute rapidement
- Si un concurrent lance un meilleur nouveau modèle, il suffit de changer quelques lignes de code pour basculer
- Pour vendre en continu des LLM attractifs, il faut rester au plus haut niveau
- Si le secteur cesse de développer de nouveaux modèles ou atteint une asymptote technologique, la valeur des anciens modèles chutera quand même rapidement
- Il existe déjà quelques modèles open source comme Llama et Mistral, qui n’ont au pire qu’un ou deux niveaux de retard par rapport aux meilleurs modèles propriétaires
- Si les modèles propriétaires cessent de progresser, les modèles open source combleront rapidement l’écart
- Donc, pour OpenAI, Anthropic ou tout autre fournisseur d’IA, il y a deux options
- La première consiste à investir des sommes énormes pour rester devant le marché. Mais cela semble très risqué :
- Le coût de construction de ces modèles va probablement continuer à augmenter, les employés les plus brillants peuvent partir, et on n’a pas forcément envie de parier son activité sur le fait d’être toujours la première entreprise à trouver la prochaine percée
- L’expertise technique constitue rarement un fossé défensif durable
- La seconde… je ne sais pas
- Travailler encore plus dur sur la première option ?
Prévisions sur la situation actuelle
- Il y a 18 mois, on prédisait que les fournisseurs de LLM deviendraient les prochains fournisseurs cloud
- En surface, cela paraît similaire dans la mesure où leur construction exige des financements massifs, mais il y a une différence importante
- Un fournisseur cloud ne se construit pas du jour au lendemain
- Un petit groupe peut menacer le cœur de métier d’OpenAI en quelques mois
- Quel est le fossé défensif des fournisseurs de LLM ?
- La marque, l’inertie, de meilleures applications, des injections massives de capitaux pour conserver des modèles en avance sur ceux de la concurrence, etc.
- Mais les entreprises d’IA sont un exemple extrême d’un marché qui classe à tort les coûts de développement logiciel comme des investissements initiaux
- Pour les petites entreprises, il est difficile d’investir continuellement des milliards de dollars comme les grands groupes
L’importance du moment
- Sur ce marché, le timing est peut-être ce qui compte le plus
- Un jour, l’engouement retombera et les gens ne pourront plus lever des tours de financement de ce type
- Et le gagnant ne sera pas celui qui a couru le plus vite ou franchi la ligne d’arrivée, mais celui qui menait au moment où le marché a décidé que la course était terminée
L’avis de GN⁺
- On peut se demander si le modèle économique des entreprises d’IA est réellement durable
- Le développement des modèles coûte énormément d’argent, et ces coûts devraient continuer à augmenter
- Le rythme des avancées technologiques est si rapide que les anciens modèles deviennent vite inutiles
- Il faut donc investir en permanence des sommes considérables pour maintenir des modèles au meilleur niveau
- Les modèles d’IA open source progressent eux aussi rapidement, ce qui devrait réduire l’écart avec les modèles commerciaux
- Stable Diffusion, Llama et Mistral en sont des exemples représentatifs
- Si les entreprises cessent de développer de nouveaux modèles, l’open source les rattrapera rapidement
- Le développement des technologies d’IA présente des avantages pour les géants de l’IT
- Google, Microsoft et Meta peuvent investir de façon continue grâce à leur immense puissance financière
- Ils peuvent tirer parti d’une forte notoriété de marque et de leur base de clients existante
- En revanche, il semble difficile pour les startups arrivées plus tard de survivre sur la seule base de leur savoir-faire technique
- Même en obtenant un important investissement initial, la clé reste de sécuriser des financements continus
- Quand la bulle éclatera, il sera plus difficile d’attirer des investissements
- Le timing du marché est crucial, et l’entreprise en tête au moment où l’euphorie retombera aura de fortes chances de l’emporter
3 commentaires
Le fait qu’OpenAI mène délibérément une activité déficitaire pour verrouiller le marché y est pour beaucoup. De toute façon, chaque fois qu’OpenAI manque d’argent, il lui suffit de lever des fonds et les marques d’intérêt affluent du monde entier, tandis que toutes les autres entreprises finissent par mourir.
N’est-ce pas une gigantesque guerre d’usure ?
Au final, ils vont tous disparaître et seul un modèle géant survivra pour monopoliser le marché..
Avis de Hacker News
Avis d’un responsable d’équipe de recherche en IA
La courbe en S de l’innovation technologique
L’évolution de la définition de l’IA
Les moyens de monétiser l’IA
Une situation similaire aux débuts du ride-sharing
Les éléments de différenciation des modèles
Une période de confusion sur le marché
Le problème de l’optimisation des modèles
La substituabilité des produits