23 points par xguru 2024-12-30 | 2 commentaires | Partager sur WhatsApp
  • Résumé condensé et explications complémentaires du rapport 2025 (90 diapositives)
  • « Dans ma vie, je n’ai vu que deux démos technologiques vraiment révolutionnaires : l’interface graphique et ChatGPT » - Bill Gates
  • OpenAI est valorisée à 157 Md$ (Microsoft a mis 20 ans à y parvenir)
    • ChatGPT a atteint la notoriété grand public à une vitesse sans précédent
    • L’intérêt est fort, mais les usages restent limités et l’utilité n’est pas encore clairement perçue
    • Sur le marché, certains disent déjà que les gains ne sont peut-être pas à la hauteur des investissements
  • Dans le Hype Cycle, il faut du temps pour atteindre le « Plateau of Productivity »
  • Le prochain grand basculement de plateforme, c’est la « Generative AI »
    • Mainframe → PCs / SQL → Web / Open Source → Smartphones / Cloud → Generative AI
  • Mais tout reste encore ouvert, et personne n’a les réponses
    • How far will this scale?
    • How is this useful?
    • How do we deploy this?

How far will this scale? Jusqu’où cela peut-il passer à l’échelle ?

  • Les LLM vont-ils continuer à grandir (scaling) ? Les LLM vont-ils finir par tout faire ?
  • Le scaling est difficile
    • Faire grandir ces modèles pose de nombreux défis et prendra du temps
      • GPU et électricité, données d’entraînement, exécution et engineering, et même la question de savoir si les résultats seront réellement meilleurs
    • À ce stade, il semble impossible de ne pas investir (sinon on risque de passer à côté de la technologie la plus importante des 10 à 15 prochaines années)
    • « We have no moat » - Google
    • « Les modèles actuellement en entraînement coûtent près d’1 Md$, et en 2025/2026 on sera plutôt à 5 Md$ ou 10 Md$ » - CEO d’Anthropic
    • « Le calcul nécessaire pour entraîner Llama 4 est plus de 10 fois supérieur, et les futurs modèles continueront à grossir au-delà » - Mark Zuckerberg
  • Si le fossé défensif, c’est le « capital », alors Nvidia ne parvient déjà pas à répondre à la demande
  • Les capex des Big Four (Meta, Alphabet, AWS, MSFT) étaient de 90 Md$ en 2023, 220 Md$ en 2024, et augmenteront encore en 2025
  • Tout évolue très vite, avec des progrès technologiques qui se produisent sous nos pieds
    • Pour que l’IA continue de progresser, il est essentiel de trouver un équilibre entre performance (de meilleurs résultats), orientation, et efficacité des ressources (coût d’entraînement, coût d’inférence, empreinte carbone)
  • « Le modèle internet grand public consistant à lancer gratuitement, faire du bouche-à-oreille, puis réfléchir plus tard à la monétisation n’est pas compatible avec la structure de coûts actuelle des grands modèles de langage (LLM) »
    • Historiquement, le logiciel avait un coût initial de développement élevé, mais une fois créé, sa copie et sa distribution coûtaient presque rien : un produit à coût marginal quasi nul
    • Les LLM nécessitent d’énormes ressources de calcul pour l’entraînement comme pour l’inférence (électricité, serveurs, etc.), et les coûts augmentent fortement avec le nombre d’utilisateurs
    • Une stratégie de gratuité pour acquérir rapidement une large base d’utilisateurs n’est pas soutenable sans modèle de monétisation solide
    • Autrement dit, il faut dès le départ une stratégie claire de récupération des coûts
  • « Toute l’industrie technologique est en train d’offrir gratuitement le business model de quelqu’un d’autre »
    • Dans la tech, l’ouverture en open source ou la gratuité de technologies clés et de business models concurrents affaiblit l’avantage compétitif exclusif de certaines entreprises
    • En publiant en open source des actifs technologiques majeurs comme ses modèles d’IA, Meta transforme ces technologies en infrastructure banalisée (commodity infrastructure) accessible à tous
    • Apple pousse l’edge computing en faisant exécuter directement les modèles d’IA sur les appareils des utilisateurs ; au lieu d’un modèle tournant sur un serveur central, l’IA devient une simple couche d’appel API, ce qui réduit la valeur commerciale de la technologie
  • Le boom des modèles en 2023-2024 : il fallait choisir 2 critères parmi bon, rapide et peu cher

How is this useful? Quelle est l’utilité réelle ?

  • 2013 : le machine learning commence à distinguer une personne, un chien et une chaise. « C’est intelligent, et alors ? »
  • 2023 : le machine learning génératif comme ChatGPT est-il utile ? « C’est intelligent, et alors ? »
  • La détection des erreurs reste encore limitée. Une gestion efficace des erreurs demande une approche équilibrée sur tous les plans
    • C’est un défi composite, à la croisée de la science (amélioration du modèle), de la définition des cas d’usage et du design produit (amélioration de l’UX)
  • « En 2024, à quoi servent concrètement les LLM ? »
    • Les LLM sont fondamentalement des systèmes probabilistes de prédiction du mot suivant
    • À leur niveau actuel, ils sont utiles pour résumer ou synthétiser de l’information, mais restent encore insuffisants pour le raisonnement complexe
    • Les LLM ont le potentiel d’automatiser de nouveaux types de tâches, mais il faut encore davantage d’exploration pour bien comprendre et définir ces usages
  • VisiCalc fut le premier tableur électronique au monde, réduisant un travail de calcul de 20 heures à 15 minutes
    • Un avocat pouvait trouver cela impressionnant et très innovant, tout en estimant ne jamais en avoir l’usage dans son propre métier
    • Pourtant, ce type de cas se multiplie
      • En code, en marketing ou au support client, là où le besoin est clair, la valeur est immédiate
  • « Il faut partir de l’expérience client et remonter ensuite vers la technologie. » - Steve Jobs

How do we deploy this? Comment déployer cela ?

  • Lorsqu’une nouvelle technologie arrive, elle suit généralement ce processus
      1. Absorb (absorption) : transformer la nouvelle technologie en fonctionnalité et l’ajouter à une activité ou un produit existant
      1. Innovate (innovation) : développer des idées ou produits innovants à partir de cette nouvelle technologie. Les startups s’en servent pour séparer (unbundle) certains usages
      1. Redefine markets (redéfinition des marchés) : une nouvelle technologie peut casser les frontières des marchés existants et créer des marchés entièrement nouveaux. C’est difficile à prévoir, et les réussites sont rares
  • Questions standard que se posent les entreprises lorsqu’elles adoptent une nouvelle technologie
    • « Buy versus build? » (acheter ou développer en interne ?)
    • « Single vendor or multi-vendor? » (un seul fournisseur ou plusieurs ?)
    • « Which use cases first? Whose budget? » (quels cas d’usage en priorité ? sur quel budget ?)
    • « Opex or capex? What’s the EPS impact? » (dépense opérationnelle ou investissement ? quel impact sur le bénéfice par action ?)
  • L’avenir peut prendre du temps
    • Le cloud est un terme ancien et presque lassant, mais il ne représente encore qu’environ 30 % de l’ensemble des workflows
    • En 2024, un quart des CIO ont lancé quelque chose basé sur des LLM, mais la moitié ne prévoit toujours rien pour l’an prochain
  • Mais une nouvelle plateforme implique aussi de nouveaux outils
    • Les SaaS vont considérablement étendre l’automatisation, en dégroupant les workflows issus de SAP, Excel et l’email
  • « Il y a deux façons de gagner de l’argent : bundler ou unbundle. » - Jim Barksdale
  • Et si les LLM pouvaient tout gérer ? : si les modèles progressent suffisamment, aurons-nous besoin de beaucoup moins de logiciels ?
    • Si les LLM ne deviennent pas bien meilleurs qu’aujourd’hui pour certaines tâches, il faudra continuer à développer de nouveaux logiciels
    • Si les LLM continuent à passer à l’échelle et à progresser, une grande partie du développement logiciel pourrait devenir inutile
      • Possibilité d’une évolution vers une « IA généraliste » capable de tout traiter
  • Les LLM sont-ils une infrastructure ? une API ? une plateforme ? une nouvelle expérience utilisateur ? : faut-il contrôler les LLM avec des systèmes logiques, ou contrôler les systèmes logiques avec des LLM ?
    • Les LLM peuvent n’être qu’une simple API, ou bien devenir la plateforme dominante dont tout le reste serait les API
    • Leur rôle continuera d’évoluer selon les progrès technologiques et leur capacité à passer à l’échelle
  • Les LLM vont-ils faire exploser notre modèle de découverte des cas d’usage ? : si tout adopte la même UX, comment les entrepreneurs inventeront-ils de nouveaux cas d’usage et de nouvelles formes d’expression ?
    • Dans le développement logiciel traditionnel, startups et entreprises imaginent et inventent des cas d’usage spécifiques
    • Si les LLM deviennent capables de prendre en charge et d’automatiser tous les cas d’usage, le besoin de développement logiciel traditionnel pourrait diminuer
    • Si les LLM deviennent le centre de l’UX, les utilisateurs devront peut-être eux-mêmes imaginer et inventer de nouveaux usages
      • Un changement de paradigme pour le développement logiciel et la conception UX
  • L’« IA » tend à se transformer en « automatisation » : As technology matures, it disappears
    • IA ! → Smart → Auto → Just software
  • Trois modèles pour les produits LLM ?
    • Ajouter de nouvelles fonctions à des applications existantes : « réécris mon email », « résume ces avis »
    • De nouveaux outils : « analyse et résume 500 rapports financiers »
    • Une IA généraliste : « achète-moi une maison »
  • Il existe peut-être seulement deux réponses à toutes les questions sur l’IA
    • « Cela fonctionnera comme tous les autres changements de plateforme. »
    • « Personne ne le sait. »

Meanwhile...

  • De la vision à l’exécution : qu’est-ce qui est déjà grand, qu’est-ce qui se construit aujourd’hui, et qu’est-ce qui arrive ensuite ?
    • Au début des années 2000, l’e-commerce était la grande idée d’innovation : « les gens achèteront des choses en ligne »
    • Dans les années 2010, des idées comme le SaaS (Software as a Service), l’automatisation, les outils de collaboration et la gestion de workflows ont attiré l’attention
    • À l’horizon 2030, la Generative AI s’impose comme la nouvelle grande vision
  • Meta continue toujours sur le métavers (VR & AR). L’entreprise y a déjà investi au moins 60 Md$, dont 17,4 Md$ sur les 12 derniers mois
  • L’e-commerce n’a pas vraiment changé (à part pendant la période COVID). C’est l’un des graphiques technologiques les plus ennuyeux
  • Unbundling d’Amazon : le GMV (Gross Merchandise Volume) de Shopify dépasse 270 Md$, soit 35 % du GMV d’Amazon
  • Les revenus publicitaires d’Amazon continuent de croître. Ils génèrent plus de cash-flow que le retail ou AWS
  • Software eats media : nouveaux canaux, nouveaux modèles, nouveaux bundles
    • Des plateformes média pilotées par le logiciel comme YouTube ou TikTok affichent des revenus comparables à ceux des médias traditionnels et s’imposent comme des acteurs majeurs du secteur
    • De grands groupes médias traditionnels comme Disney restent très rentables, mais doivent faire face à la vitesse de croissance des plateformes logicielles
    • De nouvelles formes de média comme le streaming (Netflix) défient le modèle traditionnel centré sur le câble et la diffusion
    • Les médias traditionnels essaient de préserver leur compétitivité grâce à leurs catalogues et à leurs contenus exclusifs, tandis que les plateformes logicielles maximisent leurs revenus en combinant publicité et abonnement
  • Software eats cars? : après des décennies de promesses et des dizaines de milliards de dollars investis, la conduite autonome commence peut-être enfin à fonctionner
    • Le nombre de trajets en robotaxi progresse régulièrement. L’industrie automobile se transforme en service centré sur le logiciel
  • La voiture devient-elle un logiciel ? : les BEV approchent 10 % des ventes totales, mais qui va gagner ? Ce processus fonctionnera-t-il comme Android ?
    • Les véhicules 100 % électriques (Battery Electric Vehicle) ont représenté environ 10 % des ventes automobiles mondiales en 2023, en train de devenir une technologie mainstream
    • Des entreprises comme Tesla transforment les BEV en produits centrés sur le logiciel plutôt qu’en simples véhicules, laissant entrevoir un écosystème logiciel comparable à celui du smartphone