Panorama 2024 du secteur ML/IA/Data et dernières tendances

 (mattturck.com)
35 points par xguru 2024-04-08 | 1 commentaires | Partager sur WhatsApp

Vue d’ensemble en une image de la cartographie 2024 du secteur MAD (ML, IA, Data) et explication de 24 thèmes de l’année

[Part I : Landscape]

  • La toute première version en 2012 ne comptait que 139 entreprises, alors que l’écosystème MAD 2024 en comprend 2 011
  • Cela correspond à 578 nouvelles entreprises ajoutées par rapport aux 1 416 de l’an dernier
  • Si autant d’entreprises sont incluses, c’est parce que deux immenses vagues successives de progrès technologiques ont eu lieu au cours de la dernière décennie environ : les technologies d’infrastructure de données et les technologies ML/IA
    • La première vague correspond à une dizaine d’années d’évolution des technologies d’infrastructure de données, depuis le big data jusqu’à la modern data stack
    • La deuxième vague correspond à l’essor des technologies ML/IA initié par l’IA générative (Generative AI)
  • L’écosystème MAD met l’accent sur la représentation de l’ensemble du cycle de vie de la donnée, depuis sa collecte jusqu’au stockage, au traitement, à l’analyse et à la création de valeur via des applications

Principaux changements dans les domaines de l’infrastructure et de l’analytics

  • Le domaine de l’infrastructure de données (la partie gauche de l’écosystème MAD) n’a pas connu de grands changements récemment
    • « Database Abstraction » a été renommé en « Multi-Model Databases & Abstractions » pour refléter l’émergence de bases de données multi-modèles tout-en-un comme SurrealDB et EdgeDB
    • La section « Crypto / Web 3 Analytics », créée de façon expérimentale l’an dernier, a été supprimée
    • La section « Query Engine » a également été supprimée (les entreprises concernées restent toutefois incluses)

Principaux changements dans le domaine du machine learning et de l’intelligence artificielle

  • C’est dans ce domaine qu’il y a eu le plus de changements structurels, en raison de l’explosion du nombre d’entreprises IA en 2023
  • Trois nouvelles catégories ont été ajoutées à côté de MLOps
    • « AI Observability » : des startups qui testent, évaluent et surveillent les applications LLM
    • « AI Developer Platforms » : des plateformes de développement d’applications IA, proches du MLOps mais centrées sur l’entraînement, le déploiement et l’inférence des LLM
    • « AI Safety & Security » : des entreprises qui traitent les préoccupations propres aux LLM (hallucinations, éthique, conformité réglementaire, etc.)
  • « Horizontal AI/AGI » a été scindé en deux catégories : « Commercial AI Research » et « Nonprofit AI Research »
  • « GPU Cloud » a été renommé en « GPU Cloud / ML Infra » afin de refléter l’ajout de fonctions d’infrastructure clés chez les fournisseurs de cloud GPU

Principaux changements dans le domaine des applications

  • Toutes les entreprises de la couche applicative se présentent désormais comme des « entreprises IA »
  • Ajout de la catégorie « Presentation & Design » dans « Horizontal Applications »
  • « Search » a été renommé en « Search / Conversational AI » pour refléter l’émergence d’interfaces de chatbot basées sur des LLM comme Perplexity
  • Dans « Industry », « Gov't & Intelligence » a été renommé en « Aerospace, Defense & Gov't »

Principaux changements dans le domaine de l’infrastructure open source

  • Création d’une catégorie unique « Data Management » couvrant à la fois « Data Access » et « Data Ops »
  • Ajout d’une nouvelle catégorie, « Local AI », qui fournit des outils d’infrastructure pour amener l’IA et les LLM dans l’environnement de développement local

[Part II: 24 thèmes de 2024]

1. Données structurées vs données non structurées

  • Les données se divisent entre données structurées, qui peuvent s’inscrire dans des lignes et des colonnes, et données non structurées, comme le texte, les images, l’audio et la vidéo
  • Les données structurées sont extraites, stockées et transformées à des fins d’analyse, puis visualisées dans des outils de BI ou utilisées dans des modèles ML/IA traditionnels
  • Les données non structurées servent principalement à entraîner et utiliser (inférence) des modèles d’IA générative, notamment les LLM
  • Aujourd’hui, les données non structurées (ML/IA) attirent l’attention, contrairement aux données structurées (modern data stack, etc.)

2. La modern data stack est-elle morte ?

  • La modern data stack (MDS) traite des pipelines de données structurées et, jusqu’à récemment, c’était l’un des concepts les plus en vue dans l’industrie logicielle
  • La MDS s’organisait autour du cloud data warehouse, avec Fivetran/Airbyte en amont, DBT au milieu, puis Looker/Mode en aval
  • Le succès de l’IPO record de Snowflake a déclenché un fort engouement pour la MDS, entraînant une création excessive de startups et des investissements VC surchauffés
    • Plusieurs catégories, comme les data catalogs, la data observability, l’ETL ou le reverse ETL, sont arrivées à saturation en un ou deux ans
  • La MDS était à la fois une réponse à de vrais problèmes, mais aussi une forme de partenariat marketing entre plusieurs startups de la chaîne de valeur de la donnée
  • Mais aujourd’hui, la MDS fait face à des pressions : ① elle coûte cher car il faut combiner plusieurs solutions de fournisseurs, et ② elle n’attire plus l’attention, éclipsée par l’IA générative

3. Consolidation dans l’infrastructure de données et montée en puissance des grands acteurs

  • En 2024, les évolutions suivantes sont attendues dans les secteurs de l’infrastructure de données et de l’analytics :
    • De nombreuses startups liées à la MDS vont tenter de se repositionner comme des « startups d’infrastructure IA »
      • Certaines pourraient réussir, mais pour la plupart, cela exigera une évolution profonde du produit afin de passer des données structurées aux données non structurées
    • Le secteur de l’infrastructure de données va enfin connaître un certain niveau de consolidation
      • Les opérations de M&A ont longtemps été limitées, mais en 2023, plusieurs acquisitions de petite et moyenne taille ont eu lieu, comme Stemma (acquise par Teradata), Manta (acquise par IBM) et Mode (acquise par Thoughtspot)
    • Les cas d’échec de startups vont fortement augmenter
      • Le tarissement des financements VC ne fait qu’aggraver la situation. Beaucoup de startups ont fortement réduit leurs coûts, mais finiront par se retrouver à court de cash. Il semble peu probable que cela fasse de gros titres spectaculaires
    • Les entreprises déjà à grande échelle vont pousser encore davantage la logique de plateforme
      • Cela passera par des acquisitions, mais aussi par le développement interne pour couvrir un périmètre fonctionnel plus large

4. Situation de Databricks vs Snowflake

  • Snowflake, acteur des données structurées, reste une excellente entreprise et bénéficie toujours de l’une des valorisations les plus élevées parmi les valeurs technologiques (PER de 14,8x)
    • Mais comme beaucoup d’éditeurs logiciels, sa croissance a nettement ralenti
      • Son chiffre d’affaires de l’exercice 2024 a atteint 2,67 milliards de dollars, en hausse de 38 % sur un an, avec une croissance attendue de 22 % sur les 12 prochains mois
    • Surtout, elle donne l’impression d’avoir des difficultés sur l’innovation produit
      • Sa réponse à l’IA est lente et elle reste peu active sur le M&A
      • Le récent changement de CEO, un peu soudain, est aussi un signal intéressant
  • Databricks, côté données non structurées, affiche globalement une forte dynamique
    • Son chiffre d’affaires de l’exercice 2024 aurait atteint 1,6 milliard de dollars, en croissance de plus de 50 % (société non cotée)
    • Databricks s’impose comme l’un des acteurs majeurs de l’IA générative
      • L’entreprise est active à la fois en M&A et en développement produit interne, comme l’illustre le rachat de MosaicML pour 1,3 milliard de dollars
      • Elle n’est pas seulement un dépôt clé pour les données non structurées alimentant les LLM ; elle développe aussi directement différents modèles, de Dolly jusqu’au tout récent DBRX
  • Un nouvel élément dans la rivalité entre les deux entreprises est le lancement de Fabric par Microsoft
    • Annoncé en mai 2023, Fabric est une plateforme SaaS cloud d’analytics de données de bout en bout
    • Elle intègre le data lake OneLake de Microsoft, l’outil de BI PowerBI, Synapse et d’autres briques, couvrant tout le périmètre, de l’intégration des données à l’ingénierie et à la data science
    • Il peut exister un écart entre l’annonce et le produit réel, mais combiné aux investissements de Microsoft dans l’IA générative, cela peut devenir une menace sérieuse
    • Il est aussi intéressant de noter que Databricks fonctionne principalement sur Azure, le cloud de Microsoft

5. État des lieux de la BI en 2024 et l’IA générative transforme-t-elle l’analytics ?

  • Parmi les domaines de MDS et des pipelines de données structurées, celui qui avait le plus urgemment besoin d’être réinventé était la BI
    • En 2019, le MAD soulignait déjà que la consolidation du secteur de la BI était quasiment achevée, et en 2021 il traitait de l’émergence des metric stores
  • Pourtant, la transformation de la BI/de l’analytics progresse plus lentement que prévu
    • Des produits anciens comme Power BI, Tableau et Looker dominent toujours le marché, souvent fournis gratuitement car intégrés à des contrats commerciaux plus larges
    • Il y a bien eu quelques consolidations supplémentaires (acquisition de Mode par ThoughtSpot, acquisition de Sisu par Snowflake), et de jeunes entreprises tentent des approches innovantes comme dbt (semantic layer/MetricFlow) ou Trace (metric tree), mais cela reste encore à un stade précoce
  • Pendant ce temps, l’IA générative pourrait avoir un impact majeur non seulement sur l’extraction/transformation des données, mais aussi sur l’analyse elle-même
    • Il y a eu beaucoup de mouvements, comme Code Interpreter d’OpenAI (désormais Advanced Data Analysis) ou le chatbot financier de MS pour Excel
    • Les cloud vendors, Databricks, Snowflake, l’écosystème open source et de nombreuses startups développent ou lancent des produits de "text to SQL" permettant d’exécuter des requêtes DB en langage naturel
  • Cela annonce un changement intéressant et potentiellement disruptif
    • La démocratisation de l’analyse est un objectif de longue date, et si le langage naturel devient l’interface des notebooks/DB/outils BI, beaucoup plus de personnes pourront effectuer des analyses
  • Mais au sein du secteur de la BI, certains restent sceptiques
    • On souligne que la précision du SQL et la compréhension du contexte métier derrière une requête resteront des freins à l’automatisation

6. L’essor de la stack IA moderne

  • Une grande partie de la discussion jusqu’ici portait sur les pipelines de données structurées
  • L’infrastructure des données non structurées traverse une phase très différente de celle des données structurées. La demande pour les données destinées à alimenter les LLM est extrêmement forte
    • Toutes les entreprises qui expérimentent ou déploient l’IA générative redécouvrent le cliché selon lequel "les données sont le nouveau pétrole"
    • Tout le monde veut la puissance des LLM, mais avec des modèles entraînés sur ses propres données d’entreprise
  • Grandes entreprises comme startups se ruent pour fournir l’infrastructure de l’IA générative
  • Plusieurs scaleups de l’IA font évoluer agressivement leurs produits pour capter la dynamique du moment
    • Databricks, Scale AI (qui a fait évoluer son infrastructure d’annotation pour véhicules autonomes vers des pipelines de données pour l’entreprise, en partenariat avec OpenAI, entre autres), Dataiku (lancement de LLM Mesh pour le multi-vendeur/multi-modèle), etc.
  • En parallèle, une nouvelle génération de startups d’infrastructure IA émerge dans de nombreux segments
    • Vector DB : stockage des données dans un format consommable par les modèles d’IA générative (embeddings vectoriels). Des spécialistes comme Pinecone, Weaviate, Chroma ou Qudrant connaissent une forte croissance, tandis que des acteurs historiques de la base de données comme MongoDB ajoutent eux aussi activement des fonctions de recherche vectorielle. En parallèle, un débat existe sur la possibilité que l’extension des context windows rende les vector DB inutiles
    • Frameworks : LlamaIndex, Langchain, etc., qui servent à relier et orchestrer différents composants
    • Guardrails : pour faire en sorte que les résultats produits entre le LLM et l’utilisateur respectent les règles de l’organisation
    • Evaluators : outils de test/analyse/surveillance des performances des modèles d’IA générative. C’est perçu comme un problème difficile en raison de la méfiance envers les benchmarks publics
    • Routeurs : répartissent en temps réel les requêtes utilisateur entre plusieurs modèles afin d’optimiser performance/coût/expérience
    • Gestion des coûts : surveillance des coûts d’usage des LLM
    • Endpoints : API qui abstraient la complexité de l’infrastructure sous-jacente, notamment les modèles
  • Au vu des précédents de MDS, l’auteur hésite à employer le terme de "stack IA moderne"
    • Mais les similitudes sont nombreuses : ces startups sont aussi "hot" que les entreprises MDS à l’époque, avancent en meute et concluent des partenariats marketing/produit
  • Cette nouvelle génération de startups d’infrastructure IA fera face à des défis similaires à ceux des entreprises MDS
    • Chaque catégorie est-elle suffisamment vaste pour faire émerger des entreprises valant plusieurs milliards de dollars ?
    • Quelles briques seront finalement développées en interne par la big tech (cloud providers, Databricks, Snowflake, etc.) ?

7. Où en est-on dans le cycle de hype de l’IA ?

  • Depuis des décennies, l’IA alterne entre étés et hivers. Rien que sur les 10 à 12 dernières années, on a déjà vu trois cycles de hype
    • 1er cycle : 2013-2015, lancé par l’attention portée au deep learning après ImageNet 2012
    • 2e cycle : autour de 2017-2018, avec le boom des chatbots et la montée de TensorFlow
    • 3e cycle : de novembre 2022 à aujourd’hui, avec l’IA générative
  • Ce cycle de hype est particulièrement intense, au point de donner l’impression d’une bulle IA. Cela s’explique par plusieurs facteurs
    • La technologie elle-même est extraordinairement impressionnante et parle facilement au grand public, au-delà du seul monde technique
    • Pour des VC disposant de beaucoup de dry powder (capital non déployé), c’était la seule thèse d’investissement vraiment active alors que tous les autres segments tech étaient en berne
  • Comme toujours, la hype s’accompagne de nombreux avantages ("sans enthousiasme quasi fanatique, pas de grande réussite", financement de projets ambitieux dans l’esprit de "laisser cent fleurs s’épanouir") et d’inconvénients (du jour au lendemain, tout le monde se transforme en expert IA, toutes les startups deviennent des entreprises IA, déferlante de conférences/podcasts/newsletters sur l’IA, inondation de market maps IA)
  • Mais le principal problème d’un cycle de hype reste l’inévitable retour de bâton
  • La phase actuelle comporte plusieurs étrangetés et risques
    • La structure juridique et de gouvernance atypique du leader du secteur (OpenAI)
    • La multiplication de deals "des parts contre de la puissance de calcul", encore mal compris ou peu transparents (avec un risque possible de round-tripping)
    • Le fait que beaucoup de startups prometteuses soient dirigées par des chercheurs en IA
    • Des pratiques d’investissement de VC rappelant l’ère des taux zéro ("land grab", méga-tours, valorisations ahurissantes pour des entreprises tout juste créées)
  • Il y a bien quelques signes de fissuration de la hype IA (voir plus bas), mais pour l’instant nous sommes encore dans une phase où chaque semaine apporte quelque chose de nouveau qui étonne tout le monde. À voir les informations sur le fonds IA de 40 milliards de dollars de l’Arabie saoudite, il semble difficile d’imaginer un arrêt rapide des flux de capitaux

8. Expérimentation ou réalité ? 2023 était-elle une illusion ?

  • Compte tenu de la hype, il faut se demander quelle part de concret a vraiment émergé jusqu’ici, et si l’on n’est pas resté au stade de l’expérimentation
  • 2023 a été une année extrêmement chargée
    • Toutes les entreprises tech se sont empressées d’intégrer l’IA générative dans leurs produits
    • Les conseils d’administration des entreprises du Global 2000 ont tous ordonné l’adoption de l’IA, et même des acteurs de secteurs régulés comme Morgan Stanley ou Citibank l’ont déployée à un rythme record
    • Les consommateurs ont manifesté un enthousiasme massif pour les applications d’IA générative
  • Résultat : OpenAI ($2B ARR), Anthropic (revenu prévisionnel 2024 de $850M), Midjourney (40 personnes, $200M de revenus sans levée de fonds), Perplexity (MAU de 0 à 10 millions) ont enregistré de grands succès
  • Mais faut-il adopter une lecture plus cynique ? Plusieurs points d’inquiétude existent
    • Les dépenses des entreprises se sont souvent limitées à des PoC ou à des démonstrations visibles, et provenaient fréquemment de budgets d’innovation
      • N’était-ce pas parfois davantage motivé par la peur des dirigeants de paraître en retard que par la résolution de vrais problèmes métier ?
    • Les applications grand public affichent un fort churn. N’était-ce qu’un simple effet de curiosité ?
    • Beaucoup de gens disent ne pas encore bien savoir comment utiliser l’IA générative, dans leur vie personnelle comme dans leur travail
    • Même les produits conçus par les meilleurs experts IA ne relèveront pas tous de la magie
      • Que faut-il penser du cas d’Inflection AI, qui a levé $1.3B avant de fermer de façon décevante ? Est-ce la preuve que le monde n’a pas besoin d’un chatbot IA ou d’un LLM de plus ?

9. Les entreprises du LLM ne se sont-elles pas moins banalisées que prévu ?

  • Des montants colossaux de capital-risque et de financements d’entreprise sont investis dans les sociétés de LLM
  • Depuis 18 mois, la question la plus fréquente est la suivante : assistons-nous à l’incinération d’énormes capitaux dans des produits qui finiront par se banaliser, ou bien ces entreprises de LLM vont-elles devenir les nouveaux AWS, Azure et GCP ?
  • Le fait gênant, du point de vue des entreprises de LLM, est qu’aucun LLM ne semble capable de construire un avantage de performance durable
    • Pour l’instant, Claude 3 Sonnet et Gemini Pro 1.5 sont meilleurs que GPT-4, et GPT-4 meilleur que Gemini 1.0 Ultra, mais cette hiérarchie semble changer toutes les quelques semaines
    • Il existe aussi une volatilité des performances : ChatGPT a eu une période où il a « perdu la tête » et est devenu « paresseux », avant de se rétablir temporairement
  • À cela s’ajoute le fait que les modèles open source (Llama 3, Mistral, DBRX, etc.) rattrapent eux aussi rapidement leur retard
  • Par ailleurs, il y a sur le marché bien plus d’entreprises de LLM que prévu au départ
  • Il y a encore quelques années, la prévision dominante était qu’il n’y aurait qu’une ou deux entreprises de LLM, dans une logique de winner-takes-all, car très peu de personnes dans le monde possédaient l’expertise nécessaire pour faire passer les transformers à l’échelle
  • Mais il semble y avoir plus d’équipes compétentes qu’on ne le pensait
    • Outre OpenAI et Anthropic, de nombreuses startups mènent de la recherche fondamentale en IA, comme Mistral, Cohere, Adept, AI21, Imbue ou 01.AI, sans compter les équipes chez Google, Meta, etc.
  • Malgré cela, jusqu’à présent, les entreprises de LLM s’en sortent plutôt bien. OpenAI et Anthropic voient leur chiffre d’affaires croître à une vitesse impressionnante
  • Les « modèles » de LLM finiront peut-être par se banaliser, mais les « entreprises » de LLM ont encore devant elles une opportunité business gigantesque
    • Elles sont déjà devenues des entreprises « full stack » qui proposent des applications et des outils pour les consommateurs, les entreprises et les développeurs au-dessus des modèles de base
  • L’analogie avec les entreprises du cloud semble assez pertinente
    • AWS, Azure et GCP acquièrent et fidélisent leurs clients via la couche applications/outils, et tirent l’essentiel de leurs revenus d’une couche calcul/stockage largement peu différenciée

10. Un avenir hybride : LLM, SLM

  • L’attention se concentre sur les grands LLM (GPT-3, GPT-4, GPT-5, etc.), mais les SLM (small language models) progressent eux aussi rapidement
    • Llama-2-13b de Meta, Mistral-7b/Mixtral 8x7b de Mistral, Phi-2/Orca-2 de MS, etc.
    • Les SLM coûtent moins cher à exploiter, se fine-tunent plus facilement et offrent de bonnes performances
  • Des modèles spécialisés sur des tâches précises (code, finance, etc.) apparaissent également
    • Des modèles spécialisés pour le code comme Code-Llama ou Poolside AI
    • Le modèle financier de Bloomberg, ou encore le modèle de science des matériaux d’Orbital Materials, entre autres modèles spécialisés par secteur
  • En entreprise, on évolue rapidement vers des architectures hybrides qui combinent ces différents modèles
  • Les prix baissent, mais les grands LLM propriétaires restent coûteux et posent encore des problèmes de latence ; les utilisateurs et clients vont donc déployer des combinaisons de modèles de plus en plus variées
    • La tendance est d’utiliser, selon les besoins et le budget, des combinaisons de modèles grands/petits, commerciaux/open source, généralistes/spécialisés

11. L’IA traditionnelle est-elle morte ?

  • Avec l’arrivée de ChatGPT, des technologies d’IA qui étaient jusque-là considérées comme de pointe se sont retrouvées du jour au lendemain qualifiées d’« IA traditionnelle »
  • Pourtant, l’IA traditionnelle (ou IA prédictive) traite des données structurées et est complémentaire de l’IA générative
  • L’IA traditionnelle est déjà utilisée à grande échelle dans d’innombrables entreprises
  • À l’avenir, les entreprises devront réfléchir à quelles tâches confier aux LLM, lesquelles confier à des modèles d’IA traditionnelle, et comment combiner les deux

12. Thin wrappers, thick wrappers, et la course au full stack

  • Thin wrapper : terme à la mode en 2023, employé de manière péjorative pour désigner un produit dépendant d’une technologie tierce comme celle d’OpenAI
    • Les difficultés de startups comme Jasper viennent appuyer cette thèse
  • Mais avec le temps, des pistes de différenciation ont émergé
    • Se concentrer sur un problème spécifique (vertical)
    • Développer des fonctions de workflow, de collaboration et d’intégration profonde
    • Travailler au niveau du modèle d’IA, par exemple via le fine-tuning ou la mise en place de systèmes hybrides
  • Autrement dit, il faut devenir full stack (application + infrastructure) tout en restant spécialisé

13. Domaines à suivre : agents IA, Edge AI

  • Les agents IA suscitent un fort intérêt comme stade ultime de l’automatisation
    • Mais pour l’instant, l’IA générative montre encore des faiblesses et reste en deçà des attentes
    • Il faut notamment des améliorations comme l’ajout de capacités de mémoire aux systèmes d’IA
    • Malgré tout, cela semble appelé à devenir l’un des domaines les plus passionnants dans les 1 à 2 prochaines années
  • L’Edge AI attire également l’attention
    • Des modèles fonctionnant directement sur l’appareil sans GPU sont un objectif de longue date
    • Le potentiel est énorme pour des applications sur smartphones ou objets IoT
    • Des projets open source comme Mixtral, Ollama et Llama.cpp avancent activement

14. L’IA générative progresse-t-elle vers l’AGI, ou est-elle en train de plafonner ?

  • Malgré les avancées rapides de la technologie, certains craignent que l’IA générative ne bute soit ① sur des limites de ressources (calcul, données), soit ② sur ses limites en matière de raisonnement
  • Des discussions similaires existaient déjà en 2018, après quoi l’augmentation des ressources engagées s’est nettement accentuée
  • Sur le terrain du raisonnement (reasoning), il y a eu des avancées significatives comme AlphaGeometry de DeepMind
  • Les limites des ressources sont difficiles à évaluer. La puissance de calcul continue d’augmenter (NVIDIA Blackwell) et les contraintes sur les données semblent pouvoir être atténuées, notamment via la génération de données synthétiques
  • Du point de vue des acteurs de l’écosystème startup, le niveau d’amélioration de GPT-5 par rapport à GPT-4 servira de baromètre à la vitesse des progrès technologiques
    • Même si les progrès de l’IA générative s’arrêtaient dès maintenant, il semblerait qu’il y ait encore suffisamment d’opportunités business pour un certain temps

15. La guerre des GPU (NVIDIA est-elle surévaluée ?)

  • Entrons-nous dans une nouvelle ère où la puissance de calcul devient la ressource la plus précieuse au monde, ou bien s’agit-il d’une bulle alimentée par une surproduction de GPU ?
  • NVIDIA jouit d’un âge d’or, avec une position de quasi-monopole sur le marché des GPU pour l’IA et une action qui a été multipliée par cinq
    • Cela peut aussi s’expliquer par le fait qu’une partie des capitaux investis par les VC dans l’IA a fini chez NVIDIA
  • Mais la fabrication de matériel (usines TSMC) n’est pas une affaire simple, et le destin de NVIDIA dépend donc de la durabilité du boom actuel
  • AMD, Intel et d’autres concurrents mènent l’offensive, mais à long terme les perspectives des fabricants de puces IA semblent positives

16. L’IA open source, trop de succès pour son propre bien ?

  • Ces 12 derniers mois, l’IA open source a été sous les projecteurs
    • Llama de Meta, Mistral, Gemma de Google ont attiré l’attention, et HuggingFace continue de croître en hébergeant un très grand nombre de modèles
    • Une part importante des travaux les plus innovants en IA générative provient de la communauté open source
  • Mais on observe aussi un phénomène de surabondance dans la communauté open source
    • Des centaines de milliers de modèles d’IA open source ont été publiés, mais la plupart ne sont que des gadgets ou des projets de week-end
    • Beaucoup de modèles montent dans les classements, deviennent célèbres en quelques jours, puis disparaissent aussitôt
  • Le marché finira par faire le tri, et seuls quelques projets open source à succès bénéficieront du soutien d’entreprises du cloud et d’autres acteurs. Mais d’ici là, la situation devrait rester chaotique

17. Combien coûte réellement l’IA ?

  • L’économie de l’IA générative est un sujet qui évolue rapidement
    • Pour défier Google sur le marché de la recherche, il faut que le coût d’une réponse alimentée par l’IA soit inférieur à celui de l’affichage de 10 liens
    • Les entreprises de logiciels fondés sur l’IA doivent veiller à ce que les coûts d’inférence n’érodent pas leur marge brute
  • Du point de vue des clients et utilisateurs de modèles d’IA, la bonne nouvelle est que la guerre des prix arrive plus vite que prévu
    • Avec l’essor de l’IA open source et des fournisseurs commerciaux d’inférence, les coûts de changement sont devenus très faibles pour les clients, ce qui exerce une pression sur OpenAI et Anthropic
    • Les baisses simultanées des prix des modèles d’embedding en sont un exemple
  • Du point de vue des fournisseurs, les coûts de construction et d’exploitation des services d’IA restent élevés
    • Anthropic aurait dépensé plus de la moitié de son chiffre d’affaires en coûts de cloud
    • Les coûts de licence des données sont eux aussi loin d’être négligeables
  • Du point de vue des utilisateurs, on peut aussi profiter de services gratuits financés par le capital-risque

18. Les géants de la tech et l’évolution de l’économie politique de l’IA : Microsoft a-t-elle gagné ?

  • Question soulevée depuis fin 2022 : les Big Tech vont-elles capter l’essentiel de la valeur de l’IA générative ?
  • En IA, avoir plus de données, plus de capacité de calcul et plus de chercheurs est un avantage. Les Big Tech le savent très bien et réagissent activement
  • MS semble être celle qui réagit le plus efficacement (comme si elle jouait aux échecs en 4D)
    • Investissement de 13 milliards de dollars dans OpenAI
    • Partenariat avec le concurrent open source Mistral
    • Acquisition d’Inflection AI, concurrent de ChatGPT
    • Le chiffre d’affaires d’Azure est lui aussi en forte croissance
  • Google/Amazon ont noué des partenariats avec Anthropic et y ont investi, et Amazon s’est associé à Hugging Face
  • Meta semble se consacrer à fond à l’IA open source
  • Les évolutions venues de Chine méritent aussi l’attention
  • La question clé est de savoir jusqu’où les startups auront de la marge pour grandir
    • Quelques acteurs comme OpenAI et Anthropic ont accéléré leur développement grâce à de bons partenariats
    • Mais l’avenir de nombreuses startups reste incertain
    • L’acquisition d’Inflection AI, l’affaire autour du CEO de Stability AI, etc., suggèrent les difficultés des startups de « deuxième rang »

19. Enthousiasme pour OpenAI vs cynisme

  • OpenAI reste très attractif
    • Valorisation de 86 milliards de dollars, croissance rapide du chiffre d’affaires, conflits entre fondateurs (?), Sam Altman comme le Steve Jobs de cette génération
  • Questions intéressantes :
    • OpenAI n’essaie-t-elle pas d’en faire trop ? On dirait qu’elle veut tout faire dans l’IA, à la fois verticalement et horizontalement ; n’est-ce pas trop ambitieux ?
      • Il existe un précédent avec Coinbase, dans une situation comparable
      • Ce sera un défi très difficile dans un contexte de concurrence qui s’intensifie
      • Les problèmes autour de ChatGPT, la faiblesse de la marketplace, etc., suggèrent qu’OpenAI peut elle aussi rencontrer des difficultés
    • OpenAI et MS vont-elles se séparer ?
      • Le soutien de MS aide beaucoup OpenAI (ressources, clients entreprises, etc.)
      • Mais MS montre clairement qu’elle ne dépend pas d’OpenAI (partenariat avec Mistral, acquisition d’Inflection AI, etc.) et dispose aussi de solides capacités IA en interne
      • De son côté, OpenAI pourrait ne pas vouloir dépendre uniquement de MS. Elle pourrait souhaiter être déployée sur d’autres clouds
      • Compte tenu des ambitions immenses d’OpenAI et de la volonté de MS d’asseoir sa domination, il semble possible que les deux deviennent des concurrents

20. 2024 sera-t-elle l’année de l’IA en entreprise ?

  • En 2023, l’adoption de l’IA en entreprise est restée au niveau de la preuve de concept
  • En 2023, les principaux bénéficiaires de l’IA générative ont été des entreprises comme Accenture, qui a réalisé 2 milliards de dollars de chiffre d’affaires grâce au conseil en IA
  • L’ambiance générale est à l’espoir que 2024 marque le véritable lancement de l’IA générative en entreprise (l’IA traditionnelle étant déjà largement déployée)
  • Mais il reste encore de nombreux défis à résoudre :
    • Les cas d’usage se limitent encore à quelques domaines comme les copilotes pour développeurs, la gestion des connaissances en entreprise et les chatbots de service client
    • Il reste flou de savoir quels outils choisir (commercial/open source, grands/petits modèles, spécialisation horizontale/verticale, etc. à combiner)
    • La pénurie de talents est grave (il est déjà difficile de recruter des développeurs, alors des ingénieurs ML…)
    • Les hallucinations, l’effet boîte noire, etc., représentent des risques sérieux du point de vue des entreprises
    • Il faut valider le ROI (il existe quelques cas, comme Palo Alto Networks qui aurait réduit de moitié les coûts de gestion des déplacements professionnels)
  • Un point positif est que les entreprises semblent prêtes à mobiliser des budgets OpEx plutôt que de simples budgets d’innovation
  • Mais un déploiement à grande échelle prendra probablement encore 3 à 5 ans

21. L’IA va-t-elle tuer le SaaS ?

  • L’une des idées à la mode au cours de l’année écoulée
  • L’argument est que, grâce à l’IA, la productivité en développement pourrait être multipliée par 10, permettant à de petites équipes de créer du SaaS sur mesure et rendant le SaaS existant inutile
  • Autre thèse : si l’IA remplace tout, des RH à la finance en passant par les ventes, il n’y aura plus besoin de logiciels séparés
  • Aucun de ces deux scénarios ne semble toutefois devoir se réaliser sous une forme complète
  • Le scénario le plus probable est plutôt une intégration de l’IA au SaaS existant, qui en ressortirait renforcé

22. L’IA va-t-elle tuer le capital-risque ?

  • Au-delà de la question de savoir si l’IA peut automatiser la sélection des entreprises par les VC et la création de valeur après investissement, il faut aussi débattre de la pertinence de la taille de la classe d’actifs du capital-risque à l’ère de l’IA
  • Le VC n’est-il pas trop petit ?
    • Une entreprise comme OpenAI a besoin de plusieurs milliards de dollars, voire davantage
    • Une grande entreprise comme MS fournit déjà une part importante de ces fonds (très probablement sous forme de capacité de calcul)
    • Certains VC investissent dans les grands acteurs des modèles de base, mais on est loin du modèle traditionnel du VC logiciel
    • L’investissement dans l’IA pourrait nécessiter des fonds à très grande échelle (des informations indiquent que l’Arabie saoudite prépare un fonds IA de 40 milliards de dollars en partenariat avec des VC américains)
  • Le VC n’est-il pas trop grand ?
    • Si l’IA multiplie par 10 la productivité des développeurs et permet d’automatiser ventes et marketing,
    • On pourrait voir arriver une époque où de petites équipes, voire des entreprises d’une seule personne, généreraient des centaines de millions de dollars de chiffre d’affaires et iraient jusqu’à l’introduction en Bourse
    • Une entreprise unipersonnelle à 100 millions de dollars de chiffre d’affaires aurait-elle vraiment besoin de capitaux VC de la création jusqu’à l’EXIT ?

23. L’IA peut-elle relancer le marché grand public ?

  • Le marché grand public, en stagnation depuis l’ère des réseaux sociaux et du mobile, peut-il rebondir grâce à l’IA générative ?
  • Domaines intéressants :
    • Recherche : des startups comme Perplexity AI et You.com, qui défient Google pour la première fois depuis des décennies et mènent l’évolution des moteurs de recherche vers des moteurs de réponse
    • Compagnons IA : en laissant de côté les inquiétudes dystopiques, et si chacun pouvait avoir son propre compagnon infiniment patient et utile ?
    • Matériel IA : des tentatives intéressantes de matériel IA grand public comme Humane, Rabbit et VisionPro
    • Divertissement hyperpersonnalisé : à mesure que les outils d’IA générative progressent et deviennent moins chers, quelles nouvelles formes de divertissement et d’art vont émerger ?

24. IA et blockchain : absurde ou intéressant ?

  • La rencontre entre l’IA et la crypto est un sujet parfait pour les mèmes Twitter
  • Pourtant, il est préoccupant que les ressources de l’IA — calcul, données, talents — se concentrent dans un petit nombre d’entreprises
  • L’essence de la blockchain est de permettre aux participants de partager ressources et actifs via des réseaux distribués
  • Il existe donc un terrain d’exploration entre les deux (un sujet de réflexion depuis plusieurs années)
  • L’accélération de projets liés comme Bittensor (plateforme d’IA distribuée), Render (plateforme de rendu GPU distribué) et Arweave (plateforme de données distribuée) est notable
  • La vraie question est de savoir si l’industrie crypto pourra s’aider elle-même, ou si elle sombrera dans les memecoins liés à l’IA et les arnaques

BONUS : sujets non abordés

  • L’IA va-t-elle tous nous tuer ? AI doomsday vs accélérationnistes de l’IA
  • Régulation, vie privée, éthique, deepfakes
  • L’IA ne peut-elle être créée que dans la Silicon Valley ?

[Partie III : Financement, M&A & IPO]

Financement

  • Les investissements dans l'IA et ceux dans les autres secteurs ont affiché une nette dynamique de « deux marchés »
  • Les investissements globaux ont continué de reculer, atteignant 248,4 milliards de dollars en 2023, soit une baisse de 42 %. Les premiers mois de 2024 montrent un léger rebond, mais la tendance reste similaire
  • L'infrastructure data a eu beaucoup de mal à lever des fonds pour les différentes raisons évoquées plus haut, Sigma Computing et Databricks faisant figure d'exceptions
  • À l'inverse, l'IA a raconté une toute autre histoire
  • Les caractéristiques du marché de l'investissement dans l'IA sont les suivantes :
    • Le capital s'est concentré sur un petit nombre de startups, notamment OpenAI, Anthropic, Inflection AI et Mistral
    • Une part anormalement élevée des investisseurs corporate (CVC), comme MS, Google et NVIDIA
    • Une opacité, dans les transactions CVC, entre l'argent effectivement investi et les « participations obtenues en échange d'un soutien en puissance de calcul »
  • Les opérations marquantes depuis le MAD 2023 sont les suivantes (par ordre chronologique, liste non exhaustive) :
    • OpenAI (développeur emblématique de modèles de fondation) : 10,3 Md$ levés en deux tours, valorisation de 86 Md$
    • Adept (développeur de modèles de fondation) : 350 M$ levés, valorisation de 1 Md$
    • AlphaSense (plateforme de recherche financière) : 475 M$ levés en deux tours, valorisation de 2,5 Md$
    • Anthropic (développeur de modèles de fondation) : 6,45 Md$ levés en trois tours, valorisation de 18,4 Md$
    • Pinecone (plateforme de base de données vectorielle) : 100 M$ levés, valorisation de 750 M$
    • Celestial AI (plateforme d'interconnexions optiques) : 275 M$ levés en deux tours
    • CoreWeave (cloud GPU) : 421 M$ levés, valorisation de 2,5 Md$
    • Lightmatter (développeur de puces optiques) : 308 M$ levés en deux tours, valorisation de 1,2 Md$
    • Sigma Computing (plateforme d'analytics cloud) : 340 M$ levés, valorisation de 1,1 Md$
    • Inflection (développeur de modèles de fondation) : 1,3 Md$ levés, valorisation de 4 Md$
    • Mistral (développeur de modèles de fondation) : 528 M$ levés en deux tours, valorisation de 2 Md$
    • Cohere (développeur de modèles de fondation) : 270 M$ levés, valorisation de 2 Md$
    • Runway (développeur de modèles de génération vidéo) : 191 M$ levés, valorisation de 1,5 Md$
    • Synthesia (plateforme de génération vidéo pour les entreprises) : 90 M$ levés, valorisation de 1 Md$
    • Hugging Face (plateforme open source de ML) : 235 M$ levés, valorisation de 4,5 Md$
    • Poolside (développeur de modèles de fondation pour le code) : 126 M$ levés
    • Modular (plateforme de développement IA) : 100 M$ levés, valorisation de 600 M$
    • Imbue (développeur d'agents IA) : 212 M$ levés
    • Databricks (solution data / analytics / IA) : 684 M$ levés, valorisation de 43,2 Md$
    • Aleph Alpha (développeur de modèles de fondation) : 486 M$ levés
    • AI21 Labs (développeur de modèles de fondation) : 208 M$ levés, valorisation de 1,4 Md$
    • Together (cloud d'IA générative) : 208,5 M$ levés en deux tours, valorisation de 1,25 Md$
    • VAST Data (plateforme de données pour le deep learning) : 118 M$ levés, valorisation de 9,1 Md$
    • Shield AI (pilote IA pour l'aérospatial et la défense) : 500 M$ levés, valorisation de 2,8 Md$
    • 01.ai (développeur de modèles de fondation) : 200 M$ levés, valorisation de 1 Md$
    • Hadrian (fabrication de composants pour l'aérospatial et la défense) : 117 M$ levés
    • Sierra AI (chatbot IA pour le service client) : 110 M$ levés en deux tours
    • Glean (recherche IA pour les entreprises) : 200 M$ levés, valorisation de 2,2 Md$
    • Lambda Labs (cloud GPU) : 320 M$ levés, valorisation de 1,5 Md$
    • Magic (développeur de modèles de fondation pour le code) : 117 M$ levés, valorisation de 500 M$

M&A, transactions sur des sociétés non cotées

  • Depuis le MAD 2023, le marché du M&A est resté plutôt calme
  • Beaucoup d'éditeurs de logiciels traditionnels semblent davantage concentrés sur leur propre cours de Bourse et leur activité globale que sur le M&A
  • Le durcissement du contexte antitrust, en particulier, pèse aussi sur les acquéreurs potentiels
  • Les fonds de private equity (PE), eux, sont restés relativement actifs à la recherche d'opportunités bon marché dans un marché dégradé
  • Les opérations marquantes figurant dans le MAD sont les suivantes (par taille) :
    • Broadcom (fabricant de semi-conducteurs), acquisition de VMWare (entreprise cloud), 69 Md$
    • Cisco (infrastructure réseau / sécurité), acquisition de Splunk (monitoring / observability), 28 Md$
    • Qualtrics (gestion de l'expérience client), retrait de la cote par Silver Lake/CPP, 12,5 Md$
    • Coupa (plateforme de gestion des dépenses), retrait de la cote par Thoma Bravo, 8 Md$
    • New Relic (monitoring / observability), acquisition par Francisco Partners/TPG, 6,5 Md$
    • Alteryx (plateforme d'analytics), retrait de la cote par Clearlake/Insight, 4,4 Md$
    • Salesloft (orchestration des revenus), acquisition par Vista Equity, 2,3 Md$
      • Vista a également acquis Drift, une entreprise de chatbots IA pour l'expérience client
    • Databricks (data lakehouse), acquisition de MosaicML (plateforme de développement IA), 1,3 Md$
      • Arcion, Okera et d'autres ont également fait l'objet de petites acquisitions
    • Thoughtspot (plateforme d'analytics), acquisition de Mode Analytics (BI), 200 M$
    • Snowflake (data warehouse), acquisition de Neeva (moteur de recherche IA), 150 M$
    • DigitalOcean (cloud), acquisition de Paperspace (développement IA), 111 M$
    • NVIDIA (puces IA), acquisition de OmniML (optimisation de l'IA en edge)
  • Le rachat d'Inflection AI par MS constitue aussi un cas particulier
  • Le fait que 2024 devienne ou non l'année du M&A dans l'IA dépendra de la dynamique du marché
  • Sur les segments inférieurs du marché, de nombreuses startups IA prometteuses ont été financées ces 1 à 2 dernières années. Lors des précédentes phases de boom de l'IA, après les premiers investissements, on a souvent vu de gros acquihires déconnectés des performances réelles. Les talents IA restent très recherchés
  • En haut du marché, la convergence entre plateformes data de premier plan et plateformes IA prend de l'élan, mais les prix risquent d'être élevés

IPO

  • L'IA a aussi été un sujet brûlant en Bourse. Les actions des « Magnificent 7 » (NVIDIA, Meta, Amazon, MS, Alphabet, Apple, Tesla) ont progressé de plus de 49 % en 2023, tirant l'ensemble du marché vers le haut
  • Mais les valeurs purement IA restent encore très rares. Les quelques titres IA disponibles se paient avec une prime (l'action Palantir a progressé de 167 % en 2023)
  • C'est probablement une bonne nouvelle pour les nombreuses startups candidates à une IPO liées à l'IA. Avec Databricks en tête, des entreprises d'une taille significative comme Celonis, Scale AI, Dataiku et Fivetran se préparent à entrer en Bourse
  • La position qu'adopteront OpenAI et Anthropic sur une cotation sera également un sujet intéressant
  • En parallèle, le marché des IPO a été très décevant en 2023. Parmi les entreprises liées au MAD, seules quelques-unes ont réussi leur introduction :
    • Klaviyo (automatisation marketing) : introduction en Bourse en 09/2023, valorisation de 9,2 Md$
    • Reddit (octroi de licences de contenus à des entreprises d'IA) : introduction en Bourse en 03/2024, valorisation de 6,4 Md$
    • Astera Labs (semi-conducteurs pour l'IA / le cloud) : introduction en Bourse en 03/2024, valorisation de 5,5 Md$

Conclusion

  • Nous vivons une période très particulière. Nous sommes au début d'un changement de paradigme.
  • C'est le moment d'expérimenter et d'essayer de nouvelles choses. Nous ne faisons que commencer

À lire aussi