La leçon amère des fondateurs IA (Bitter Lesson)

• Synthèse en un seul texte de la série en 4 parties de Lukas Petersson, fondateur d’Andon Labs (YC w24), startup spécialisée en AI Safety
  • Historiquement, dans le domaine de l’IA, les approches générales ont toujours fini par l’emporter
  • Les fondateurs d’applications IA d’aujourd’hui répètent les erreurs commises autrefois par les chercheurs en IA
  • De meilleurs modèles d’IA rendront possibles des applications IA généralistes, tout en réduisant la valeur ajoutée des logiciels construits autour des modèles
• Chapitre 1 : L’histoire se répète
• Chapitre 2 : Aucun avantage compétitif
• Chapitre 3 : Les traces de l’histoire
• Chapitre 4 : Vous êtes un magicien

---

Chapitre 1 : L’histoire se répète (History Repeats Itself)

tl;dr :

• Les progrès récents de l’IA permettent de nouveaux produits capables de résoudre des problèmes variés
• Mais la plupart de ces produits fonctionnent dans les limites des capacités actuelles des modèles et n’exploitent pas la véritable force de l’IA : sa flexibilité
• L’histoire de l’IA montre de façon répétée que les approches générales finissent toujours par gagner. Richard Sutton l’a souligné dans "The Bitter Lesson"
• Les fondateurs IA d’aujourd’hui tendent à répéter les erreurs qu’ont connues les chercheurs en IA du passé

Résumé de l’essai de Richard Sutton : The Bitter Lesson. (traduction coréenne)

• Il en tire les leçons suivantes :
  • Les chercheurs en IA cherchent à intégrer des connaissances dans l’agent
  • Cela fonctionne à court terme et procure un sentiment de satisfaction
  • À long terme, cela conduit à la stagnation, voire freine les progrès
  • Au final, les percées viennent d’une approche opposée fondée sur l’augmentation de la puissance de calcul
• Il avertit que ce schéma s’est répété maintes fois dans la recherche en IA, et qu’il n’est toujours pas terminé aujourd’hui

Produits IA et The Bitter Lesson

• Un produit IA se compose généralement d’un modèle d’IA et du logiciel qui l’entoure
• Deux façons d’améliorer les performances :
  1. Un travail d’ingénierie qui contraint le logiciel pour réduire les erreurs
  2. Attendre la sortie de meilleurs modèles
• À mesure que les modèles progressent, la valeur du travail d’ingénierie diminue
• La baisse de valeur du prompt engineering après la sortie de nouveaux modèles d’OpenAI en est un bon exemple

Types de contraintes et produits IA

• Les contraintes d’un produit IA peuvent être classées en deux catégories :
  • Spécificité : un logiciel centré sur un problème précis (solution verticale)
  • Autonomie : la capacité de l’IA à exécuter des tâches par elle-même
• Cela permet de classer les produits IA selon deux axes : la spécificité (Vertical vs. Horizontal) et l’autonomie (Workflow vs. Agent)
  • Vertical Workflow
    • Un système qui fonctionne selon une séquence fixe pour résoudre un problème spécifique
    • Harvey en est un exemple représentatif : un système de workflow conçu pour traiter des problèmes dans un domaine étroit, comme certaines tâches juridiques précises
  • Vertical Agent
    • Un système qui agit de façon autonome dans un domaine de travail spécifique et prend lui-même des décisions au cours de l’exécution
    • Devin en est un exemple représentatif : il effectue des tâches répétitives avec des outils et des données limités, en ajustant les étapes si nécessaire
  • Horizontal Workflow
    • Un système de workflow généraliste capable de résoudre des problèmes variés
    • ChatGPT en est un exemple représentatif : il répond à différents types d’entrées selon une procédure prédéfinie, sans disposer d’une autonomie complète
  • Horizontal Agent
    • Un système entièrement autonome capable de traiter des problèmes variés
    • Claude computer-use en est un exemple représentatif : il utilise les logiciels standard de l’entreprise pour accomplir des tâches selon les instructions de l’utilisateur et résoudre les problèmes d’une manière proche de celle d’un humain

Lien entre Vertical Workflow et The Bitter Lesson

• La plupart des produits présentés au Demo Day relèvent de la forme Vertical Workflow
  • La fiabilité des modèles actuels n’est pas encore suffisante pour permettre facilement d’autres approches
  • Même les problèmes complexes sont souvent limités à un Vertical Workflow pour obtenir des performances jugées acceptables
• Le travail d’ingénierie peut améliorer ces solutions, mais il a ses limites
  • Pour les problèmes que les modèles actuels ne peuvent pas résoudre, attendre des modèles plus avancés est une meilleure stratégie
  • Observation de Leopold Aschenbrenner : le temps à attendre pour de meilleurs modèles pourrait être plus court que le temps nécessaire au travail d’ingénierie

Relation entre The Bitter Lesson et les produits IA actuels

• Les chercheurs en IA ont conçu des solutions fondées sur des connaissances pour obtenir des “performances acceptables”, mais des solutions plus générales exploitant davantage de ressources de calcul les ont finalement dépassées
• La manière actuelle de développer des produits IA suit un schéma similaire

Les quatre observations de The Bitter Lesson appliquées aux types de contraintes

Les quatre observations majeures mentionnées dans Bitter Lesson se reflètent clairement dans les contraintes d’autonomie et de spécificité des produits IA.
On peut les expliquer ainsi pour chaque type de contrainte :

1. Première observation : les chercheurs en IA cherchent à intégrer des connaissances dans l’agent

• Contrainte d’autonomie :
  • Les développeurs expérimentent des agents autonomes, mais leur fiabilité reste faible
  • Ils codent donc en dur les étapes sous forme de workflow afin de leur faire suivre la même procédure qu’eux pour résoudre le problème
• Contrainte de spécificité :
  • Les développeurs veulent créer un système général d’analyse de documents, mais se heurtent à des problèmes de fiabilité
  • Ils se concentrent donc sur un type de document précis, comme les états financiers, et codent en dur des métriques et des règles de vérification spécifiques

2. Deuxième observation : cela fonctionne à court terme et procure de la satisfaction aux chercheurs

• Contrainte d’autonomie :
  • Le fait de coder un workflow en dur augmente la stabilité
• Contrainte de spécificité :
  • La spécialisation sur un périmètre étroit de documents et de métriques améliore la précision

3. Troisième observation : à long terme, cela conduit à la stagnation, voire devient un obstacle

• Contrainte d’autonomie :
  • Les workflows codés en dur ne peuvent pas gérer des situations nouvelles, ce qui entraîne des résultats inexacts
• Contrainte de spécificité :
  • Un système ne traitant qu’un problème particulier ne peut pas prendre en charge des tâches connexes, comme l’analyse de documents fusionnés ou de publications de résultats
  • Il faut alors un système spécialisé distinct pour chaque tâche

4. Quatrième observation : les percées viennent de l’augmentation de la puissance de calcul

• Contrainte d’autonomie :

  • Les nouveaux modèles trouvent dynamiquement l’approche adaptée, corrigent les erreurs si nécessaire et rendent possibles des agents autonomes fiables

• Contrainte de spécificité :

  • Les nouveaux modèles peuvent comprendre l’ensemble des documents d’entreprise et en extraire les informations pertinentes, rendant inutiles les systèmes spécialisés

• Pour les problèmes qui exigent de l’autonomie, les produits les plus autonomes obtiennent de meilleures performances

• Lorsqu’il faut traiter un espace d’entrée vaste et complexe, les produits moins spécialisés donnent de meilleurs résultats

Conclusion : les startups IA et The Bitter Lesson

• Ce texte est le premier d’une série en 4 parties qui explore le rôle des startups dans l’IA et met en avant un schéma historique récurrent : les modèles d’IA enrichis de connaissances métier sont progressivement remplacés par des modèles fondés sur l’usage de la puissance de calcul
• Les produits IA actuels présentent une ressemblance frappante avec ce schéma
• Développer du logiciel pour compenser les limites des modèles actuels est une stratégie à forte probabilité d’échec, surtout dans un contexte où les modèles progressent rapidement
• Remarque du partenaire YC Jarred : les premières générations d’applications LLM verticales de type workflow sont remplacées par la génération suivante de modèles GPT
• Conseil de Sam Altman : il est important de construire une startup qui n’ait pas peur de la sortie de meilleurs modèles, mais puisse au contraire l’attendre avec confiance
• Beaucoup de fondateurs de la couche applicative IA se réjouissent à l’idée de la sortie de nouveaux modèles, mais cela peut être un signal dangereux
  • Si de meilleurs modèles sortent, ils risquent fortement de réduire leur avantage compétitif actuel
  • Ce risque est encore plus net du point de vue des performances produit, en particulier pour les produits qui peuvent résoudre plus efficacement des problèmes plus difficiles
• Le texte suivant explorera une autre dimension, celle de l’adoption par le marché, et discutera du fait que de meilleures performances ne garantissent pas nécessairement le succès commercial

---

Chapitre 2 : Aucun avantage compétitif (No Powers)

tl;dr:

• Dans l’histoire de l’IA, les approches visant à compenser les limites des modèles par de la connaissance métier ont souvent fini par être dépassées par des approches plus généralisées s’appuyant sur la puissance de calcul
• L’IA verticale (vertical AI) entre d’abord sur le marché en pré-définissant des workflows spécifiques afin d’améliorer la précision et de compenser les limites des modèles actuels
• L’IA horizontale (horizontal AI), comme ChatGPT, s’appuie sur des modèles généralistes qui continuent de progresser, avec la possibilité d’afficher de meilleures performances dans de nombreux domaines à mesure que les modèles s’améliorent
• À long terme, l’IA horizontale pourrait prendre l’avantage sur l’IA verticale, plus contrainte, grâce à de meilleures performances et à une plus grande flexibilité

Difficulté des problèmes et courbe de performance

• La Figure 1 illustre un cas simple où l’IA verticale arrive d’abord sur le marché, mais où l’IA horizontale, une fois les modèles améliorés, finit par la dépasser en performance
• Lorsque la difficulté du problème est élevée (Figure 2), l’IA verticale n’atteint même pas un niveau de performance suffisant, et il faut attendre l’amélioration de l’IA horizontale pour qu’une solution devienne réellement possible
• À ce stade, les problèmes auxquels l’IA verticale peut s’appliquer sont des problèmes relativement « faciles » ; dans cette catégorie, l’IA verticale peut bénéficier d’un avantage de premier entrant, mais sa compétitivité à long terme reste incertaine

Le concept de « collaborateur à distance » proposé par l’IA horizontale

• À l’avenir, l’IA horizontale pourrait évoluer vers une forme comparable à celle d’un télétravailleur, disposant d’un ordinateur et de comptes, capable de trouver et d’utiliser elle-même les données nécessaires
• Des interfaces comme celles de ChatGPT, auxquelles de nombreux utilisateurs sont déjà habitués, pourraient être progressivement renforcées, créant les conditions d’une adoption rapide en entreprise
• Comme l’IA horizontale absorbe immédiatement de nouvelles capacités à chaque amélioration des modèles, il lui est plus facile de conserver un avantage concurrentiel que pour l’IA verticale

Cas antérieur : l’expérience avec AcademicGPT

• À l’époque de GPT-3.5, AcademicGPT a été lancé pour contourner les limites des entrées longues, mais lorsque GPT-4 a commencé à les prendre en charge nativement, la solution existante a rapidement été dépassée
• Comme l’a dit Jared, partner chez YC, « la première génération d’apps LLM a, dans sa grande majorité, été balayée par la génération de modèles suivante »
• Même une IA verticale offrant plusieurs fonctions à la fois risque au final de subir le même sort à mesure que les performances des modèles progressent

Analyse des 7 Powers de Helmer

• Cette section examine si l’IA verticale peut rivaliser avec l’IA horizontale à travers les 7 avantages concurrentiels de Hamilton Helmer (Switching Costs, Counter-Positioning, Scale Economies, Network Economies, Brand Power, Process Power, Cornered Resource)

• Switching Cost (coûts de changement)

  • Même si les utilisateurs se sont habitués à l’UI ou au workflow d’une solution d’IA verticale donnée, l’IA horizontale peut être déployée simplement, comme on intègre un nouvel employé
  • De plus en plus d’entreprises ont déjà adopté des solutions d’IA horizontale comme ChatGPT, ce qui laisse penser que la transition ne sera pas particulièrement difficile
  • Sur le plan du prix aussi, l’IA horizontale peut unifier plusieurs solutions verticales, avec à la clé des économies attendues

• Counter Positioning (contre-positionnement)

  • L’IA verticale peut offrir une valeur sur mesure grâce à des solutions spécialisées pour un marché donné, mais à mesure que les modèles progressent, l’IA horizontale pourrait afficher de meilleures performances globales
  • À chaque adoption d’un nouveau modèle, l’IA verticale se retrouve face à un dilemme : perdre sa différenciation à cause de ses « contraintes » existantes, ou les lever et finir par ressembler à un modèle horizontal

• Scale Economy (économies d’échelle)

  • Comme le SaaS, l’IA verticale peut aussi réduire ses coûts en changeant d’échelle, mais l’IA horizontale a également l’avantage de pouvoir répartir ses coûts en couvrant de multiples domaines
  • En appliquant à de nombreux usages des modèles horizontaux développés grâce à des investissements massifs en R&D, il devient possible d’accélérer encore la réduction des coûts

• Network Economy (effets de réseau)

  • L’IA verticale comme l’IA horizontale peuvent s’améliorer grâce aux données utilisateurs, mais l’IA horizontale bénéficie d’un avantage majeur : recueillir des retours auprès d’un ensemble d’utilisateurs beaucoup plus large et améliorer ainsi les performances globales du modèle
  • Comme l’ensemble du modèle s’améliore grâce à des données accumulées dans des domaines variés, il peut progresser à un rythme difficile à suivre pour l’IA verticale

• Brand Power (puissance de marque)

  • La puissance de marque est un avantage difficile à obtenir au stade d’une petite startup
  • Des entreprises comme OpenAI ou Google, qui disposent déjà d’une forte influence de marque, font exception, mais pour la plupart des startups d’IA verticale, il est difficile d’en faire une arme concurrentielle

• Process Power (puissance des processus)

  • La puissance des processus est elle aussi un avantage que les grandes entreprises acquièrent au fil du temps, en affinant leurs systèmes opérationnels
  • Au stade initial d’une startup, cette catégorie s’applique quasiment pas

• Cornered Resource (ressource exclusive)

  • Une ressource exclusive ne devient un avantage concurrentiel majeur que lorsqu’une seule entreprise détient certaines données ou ressources, et que celles-ci sont absolument indispensables dans ce domaine
  • De nombreuses startups IA affirment disposer de « données exclusives », mais en réalité ces données ne sont souvent pas totalement exclusives, ou bien les modèles peuvent être suffisamment entraînés même sans elles
  • À titre exceptionnel, les entreprises qui détiennent une véritable ressource exclusive pourraient conserver leur compétitivité malgré les progrès de l’IA horizontale

Conclusion

• En fin de compte, même dans un scénario où l’IA verticale bénéficie d’un avantage de premier entrant, la plupart des IA verticales auront du mal à se maintenir si l’IA horizontale atteint un niveau de performance supérieur
• Parmi les 7 Powers de Helmer, ce n’est que dans le cas où une entreprise possède une véritable « Cornered Resource » que l’IA verticale peut espérer conserver une dynamique de long terme
• Comme l’a montré la chute rapide d’AcademicGPT après la sortie de GPT-4, même une IA verticale renforcée par plusieurs fonctionnalités pourrait suivre une trajectoire similaire une fois les modèles améliorés
• Le prochain chapitre (chapitre 3) cherchera à prévoir quand et comment une IA horizontale sous forme de « collaborateur à distance » pourrait devenir réalité, et examinera en détail les barrières techniques, réglementaires, de confiance et économiques qui s’y opposent

---

Chapitre 3 : Une note de bas de page dans l’histoire (A Footnote in History)

• Une interview a été publiée dans laquelle le CEO d’Anthropic présente le concept de « virtual collaborator »
• Ce concept est proche de ce que l’auteur appelle dans cette série un « horizontal AI product »
• OpenAI devrait bientôt annoncer « Operator » et, selon des benchmarks ayant fuité, ses performances seraient nettement supérieures à celles de Claude (sur le benchmark OSWorld, Claude est à 22 %, Operator à 38 %)
• Cette amélioration des performances reste dans la fourchette attendue, et l’auteur maintient telle quelle sa prévision formulée il y a trois mois
• Le chapitre précédent expliquait pourquoi les applications d’IA verticale ont du mal à rester compétitives
  • L’écart de performance avec les solutions d’IA généralistes se réduit
  • Une fois que les produits d’IA horizontale deviennent compétitifs, les produits d’IA verticale n’ont presque aucun moyen de se défendre
• La question importante est la suivante : « quand aura lieu la transition de l’IA verticale vers l’IA horizontale ? »
  • Si c’est dans dix ans, développer aujourd’hui de l’IA verticale peut encore avoir du sens
  • Mais si le changement intervient dans 1 à 2 ans, il faut alors une stratégie totalement différente
• Le passage de l’IA verticale à l’IA horizontale ne se produira pas en même temps dans tous les secteurs
• Cependant, comme les marchés sur lesquels se concentrent actuellement la plupart des startups IA sont des domaines relativement simples, on peut s’attendre à ce que le changement survienne à des moments proches dans les principaux secteurs
• D’ici 2027, il sera probablement difficile pour les produits d’IA verticale de survivre dans la plupart des industries
• Par « adoption », on entend le produit que choisit l’utilisateur lorsqu’il veut résoudre un nouveau problème ou changer sa manière de résoudre un problème existant
• Les éléments suivants ne sont pas pris en compte
  • Part de marché : les contrats existants, entre autres, peuvent avoir un impact
  • Taille absolue : l’IA ouvrira de nouveaux cas d’usage et élargira le marché, mais cette analyse ne prend en compte que les évolutions relatives
  • Valeur potentielle : on évalue ici la solution que les gens choisissent à l’instant présent, sans inclure les possibilités d’amélioration futures
• Par exemple, si le flux se déplace de A vers B, cela signifie qu’autrefois A était préféré, mais qu’à présent B est considéré comme la meilleure option

Concepts d’IA verticale/horizontale et de workflow/agent

• Les termes « IA verticale (vertical AI) » et « IA horizontale (horizontal AI) » désignent différents types de produits IA
• Les notions de « workflow » et d’« agent » servent elles aussi à classifier les produits IA
• Dans ce document, les concepts de workflow et d’agent sont regroupés au sein des produits d’IA horizontale
  • Il est probable qu’une même entreprise développe un produit intégrant les deux types de fonctionnalités
  • Par exemple, ChatGPT peut ajouter des fonctions d’agent tout en conservant sa base existante fondée sur des workflows

Le passé

• (1) À l’époque pré-ChatGPT, le marché était dominé par les logiciels traditionnels
• (2) Avec le lancement de ChatGPT, le premier produit d’IA horizontale réellement significatif est apparu
• (3) Après l’arrivée de l’API GPT-3.5, plusieurs produits verticaux spécialisés dans l’IA ont commencé à être lancés pour la première fois

Cette année

• (4) En 2025, les performances des modèles devraient devenir suffisamment stables pour permettre des usages pratiques des agents
  • Jusqu’ici surtout cantonnés à des projets de recherche ou à des essais limités, les agents devraient commencer à être déployés à grande échelle
  • Les produits verticaux existants basés sur des workflows pourraient eux aussi évoluer vers des formats d’agents IA
• (5) Même avec l’arrivée des agents, les workflows verticaux devraient conserver une position dominante jusqu’en 2025
  • Cela s’explique par l’habitude des utilisateurs, peu enclins à remplacer des outils déjà adoptés, et par l’inertie des développeurs qui souhaitent continuer à exploiter les actifs d’ingénierie déjà constitués
• (6) Les grands produits d’IA horizontale comme ChatGPT, Claude et Gemini devraient élargir leurs fonctionnalités et couvrir davantage de domaines verticaux
  • Les fonctions spécialisées des produits d’IA verticale existants pourraient être rapidement absorbées par les produits d’IA horizontale
  • ChatGPT a déjà commencé à s’intégrer à des applications desktop

Futur proche

• (7) L’écart de compétences entre les agents d’IA horizontale et les travailleurs humains devrait progressivement se réduire
  • Sans forcément atteindre un niveau expert, ils devraient devenir assez performants pour automatiser une part importante des tâches de bureau courantes
  • Cela pourrait réduire la raison d’être des solutions d’IA verticale
  • Exemples concrets :
    • Les particuliers pourraient confier à des agents horizontaux des tâches complexes comme la déclaration d’impôts ou la préparation à l’emploi
    • Les entreprises pourraient remplacer ou réduire une part importante des profils juniors
    • Des cas pourraient apparaître où une seule personne crée à elle seule une valeur équivalente à celle d’une licorne
• (8) Les logiciels traditionnels devraient continuer à conserver de la valeur en tant qu’interfaces exploitables par les agents
  • Il pourrait être plus rentable pour les agents d’utiliser des logiciels existants que de recréer eux-mêmes l’ensemble du logiciel
  • L’analyse suggère en particulier que les logiciels génériques et horizontaux ont davantage de chances de survivre
• (9) Les produits d’IA verticale qui survivront devraient être une minorité disposant des ressources défensives évoquées au chapitre 2, comme des données exclusives ou des brevets
  • Ils pourraient aussi être en mesure de revendre ces ressources à forte valeur

2024 - Le progrès s’est-il arrêté ?

• L’idée selon laquelle les modèles d’IA auraient stagné en 2024 est jugée peu convaincante
  • Avant même la sortie de o3, les performances des modèles continuaient déjà à progresser régulièrement dans divers domaines, qu’il s’agisse de GPT-4, Claude ou des modèles Open Weight
  • Les scores sur des benchmarks comme ARC-AGI ou GPQA Diamond ont suivi une trajectoire d’amélioration radicale
• Anthropic a évolué rapidement de Claude 2 à Claude 3, puis à Claude 3.5 Sonnet, et certains supposent que l’entreprise a utilisé en interne des mises à niveau non rendues publiques
• Pour cette raison, l’affirmation selon laquelle 2024 aurait été l’année où l’amélioration des modèles d’IA s’est arrêtée manque de fondement

Obstacles potentiels

• Model Stagnation : même s’il n’y a pas eu de stagnation en 2024, il existe une inquiétude quant à un possible arrêt des progrès des modèles à partir de 2025

  • Ilya Sutskever a évoqué à NeurIPS les limites du pre-training traditionnel, tout en suggérant qu’il existe d’autres voies, comme le Test-time compute
  • Les grands laboratoires et entreprises de l’IA continuent néanmoins d’investir massivement dans d’importantes ressources de calcul

• Regulation : l’apparition de régulations inattendues pourrait freiner le développement de l’IA

• Trust Barriers : les utilisateurs ont des inquiétudes quant à la stabilité et à la fiabilité des agents

  • En s’appuyant sur le précédent historique de la disparition progressive de la peur de l’automatisation des ascenseurs, certains estiment que ces freins seront surmontés avec le temps

• AI Labs Hesitate : Anthropic, OpenAI et d’autres pourraient dans certains cas limiter volontairement une partie des interactions utilisateurs, même s’ils disposent des capacités techniques nécessaires

• Expensive Inference : comme le montre le cas de o3, une inférence haute performance peut exiger des coûts très élevés

  • Mais le coût de l’inférence diminue avec le temps, et il est aussi probable que les agents n’appliquent pas le même niveau de raisonnement avancé à toutes les tâches

• En réunissant ces différents éléments, il apparaît que les prévisions technologiques restent difficiles, mais que les startups d’IA verticale disposent probablement de peu de temps

• Le document présente une courbe de valeur en U, selon laquelle la valeur fondée sur l’ingénierie existante peut disparaître rapidement à mesure que les modèles d’IA gagnent en sophistication

Points de référence

• L’extension du Test-time compute démontrée avec o3 est présentée comme un résultat déjà anticipé par des recherches antérieures
• Comme l’a montré le cas d’AlphaZero, dans des environnements vérifiables, les performances peuvent rapidement atteindre un niveau surhumain
• Selon cette analyse, o3 excelle dans des domaines comme le code et les mathématiques, mais ne montre pas de différence majeure avec o1 dans d’autres domaines comme l’écriture créative
• Il en ressort que, plutôt que de développer une nouvelle IA verticale, les fondateurs auraient intérêt à s’orienter vers d’autres axes, plus larges ou fondés sur des ressources exclusives

---

Chapitre 4 : Vous êtes un magicien (You’re a wizard Harry)

Les fondateurs sont comme des magiciens

• Ils ont la capacité de créer quelque chose à partir de rien
• Lancer une nouvelle entreprise exige une pensée originale
• Selon Paul Graham (PG) : « Une idée doit être non seulement juste, mais aussi originale. Il ne faut pas lancer quelque chose que tout le monde considère déjà comme une bonne idée. »
• De nombreux fondateurs perdent leur indépendance de pensée, aveuglés par l’impressionnante croissance des revenus de leurs pairs
• Quand tout le monde fait la même chose et que cela semble fonctionner, il devient difficile de penser de manière indépendante
• L’auteur s’efforce de penser par lui-même et espère que ces idées paraîtront mauvaises

L’avenir des agents horizontaux et la concurrence

• Les agents horizontaux appelés à dominer la couche applicative de l’IA devraient être développés par les laboratoires d’IA
• Les écarts de performance entre modèles pourraient faire émerger un vainqueur unique, mais un scénario de concurrence intense entre Anthropic, OpenAI, GDM et xAI paraît plus probable
• Cela entraîne à court terme une concurrence par les prix favorable aux utilisateurs finaux
• Même si les laboratoires d’IA ne captent pas beaucoup de valeur financière à court terme, ils devraient néanmoins conserver une position extrêmement forte
• Il est donc rationnel pour les fondateurs de penser leur startup dans le contexte de leur relation avec ces laboratoires

Une approche en tant que client

• Comme discuté au chapitre 2, il est possible de construire des produits verticaux d’IA utilisant des API de LLM, mais seulement s’il existe un accès exclusif à des ressources importantes
• Pour construire un produit vertical d’IA, il faut donc consacrer d’énormes efforts à trouver ce type de ressources

L’approche en tant que concurrent

• Si les agents horizontaux représentent l’avenir, pourquoi ne pas en construire un ? Examen de trois approches
• Prendre le marché en premier
  • Les laboratoires d’IA ne concurrenceront sérieusement les workflows verticaux que lorsque les modèles seront suffisamment fiables pour permettre de créer des agents horizontaux avec un effort d’ingénierie minimal
  • En appliquant un effort d’ingénierie à des modèles antérieurs, il est théoriquement possible d’entrer sur le marché avant les laboratoires, mais cela reste incertain
  • Leopold Aschenbrenner pense que cet effort pourrait prendre plus de temps que la construction du modèle suivant : « Il faudra peut-être du temps avant que des travailleurs à distance puissent automatiser une grande partie des tâches, et entre-temps, les modèles intermédiaires pourraient ne pas encore être pleinement exploités ni intégrés »
  • Quel que soit l’acteur qui entrera le premier sur le marché, il est probable que cet avantage ne dure pas longtemps
• Wrapper d’API d’agent
  • Un colocataire a demandé : « N’y a-t-il personne dans le monde qui sache faire des interfaces utilisateur ? »
  • Cela suggère deux problèmes : 1) les coûts d’API rendent les marges intenables, 2) les laboratoires ne publient pas leurs meilleurs modèles (ChatGPT utilise des modèles propriétaires pour la recherche, la navigation web, etc.)
  • Aujourd’hui, personne n’utilise l’API GPT pour concurrencer directement ChatGPT, et ce schéma devrait se répéter avec les agents horizontaux
• Modèles open source
  • Les modèles open source peuvent offrir une autre voie
  • Perplexity montre qu’il est possible de concurrencer les laboratoires avec un produit horizontal
  • Cependant, les modèles open source obtiennent de bons résultats sur des benchmarks simples, mais peinent sur des tâches d’agent complexes
  • Llama-3.1-405b est nettement en retrait par rapport aux modèles de pointe sur MLE-bench
  • Chez Andon Labs, on est spécialisé dans ce type de benchmark, et cela correspond à ce que nous observons
  • Deepseek V3 et R1 ont été lancés avec des résultats très impressionnants, mais c’est aussi le cas de o3, et Anthropic disposerait en interne de versions encore meilleures
  • Les modèles open source peuvent se rapprocher de l’état de l’art, mais il est douteux qu’ils le dépassent
  • Ils pourraient toutefois être suffisamment bons pour être compétitifs dans le jeu horizontal
  • Les coûts d’inférence resteraient malgré tout très élevés

L’approche en tant que fournisseur

• Si les laboratoires d’IA deviennent réellement aussi puissants, devenir leur fournisseur est une excellente position
• Ils auront évidemment besoin de beaucoup de puissance de calcul et d’électricité
• Si l’analyse de Leo est correcte, ils pourraient en avoir besoin encore plus que prévu
• Cette opportunité exige une expertise industrielle, ce qui n’est peut-être pas naturel pour les fondateurs aujourd’hui positionnés dans la couche applicative de l’IA
• Mais souvenez-vous que vous êtes un magicien
• Les laboratoires achètent aussi des données à des tiers
• Scale AI montre que cela peut être une excellente activité
• Mais on peut se demander si les laboratoires d’IA parviendront à faire fonctionner « l’auto-apprentissage »
• AlphaZero a été entraîné sans données externes, et cela est considéré comme le Graal des futurs modèles d’IA
• S’ils n’arrivent pas à faire fonctionner l’auto-apprentissage, l’alternative sera probablement de combiner plusieurs jeux de données d’entraînement successifs
• Dans ce monde-là, vendre des données serait probablement une bonne option

L’approche en tant que contributeur de l’écosystème

• Le dernier angle à envisager dans la relation avec les laboratoires d’IA est de devenir un contributeur de l’écosystème
• Cela signifie construire des outils qui aident les agents horizontaux, mais l’important est qu’ils doivent rester séparés de l’agent lui-même
• Comme montré au chapitre 3, les agents ont besoin d’interfaces efficaces, donc les logiciels traditionnels continueront d’exister
• Les agents pourront écrire leur propre logiciel, mais le coût de l’inférence pourrait rendre cela peu pratique
• Cependant, les acteurs de l’écosystème risquent d’être commoditisés, et l’essentiel de la valeur pourrait être capté ailleurs
• Cela dépendra du niveau des coûts d’inférence (inference cost) pour faire fonctionner les agents horizontaux
  • Si les coûts d’inférence sont faibles, il deviendra plus courant que les agents génèrent eux-mêmes le logiciel dont ils ont besoin

Et si les agents horizontaux d’IA arrivaient tard ?

• Le calendrier (timeline) est extrêmement important
  • Si les agents horizontaux ne deviennent compétitifs que dans 10 ans, construire aujourd’hui des workflows IA verticaux serait une excellente idée
  • Un tel délai permettrait de bâtir une entreprise importante et solide
• Mais au vu du rythme de progression des laboratoires d’IA, 10 ans semblent irréalistes
  • Alors, et dans 4 ans ?
  • Quatre ans ne suffisent peut-être pas pour bâtir un grand groupe, mais offrent assez d’occasions d’itération
  • Commencer dans la couche applicative de l’IA peut ensuite faciliter une transition vers un rôle de fournisseur ou d’acteur de l’écosystème

Épilogue : est-ce une erreur de YC (Y Combinator) ?

• En apparence, on pourrait avoir l’impression que YC fait le mauvais choix
  • Aujourd’hui, YC concentre la majorité de ses investissements sur les produits IA verticaux
  • Pourtant, il est très possible que ce marché disparaisse bientôt
• Cependant, l’auteur manque d’expertise sur le VC (venture capital), donc il est difficile d’en tirer une conclusion certaine
  • Il partage simplement sa confusion et ses interrogations
• YC affirme adopter une stratégie d’investissement relativement neutre
  • Investir dans des gens intelligents, puis espérer qu’ils trouvent les meilleures idées
  • C’est une excellente stratégie, et des centaines de fondateurs peuvent mieux anticiper l’avenir que 14 partners de YC
• Mais l’auteur craint que le système de batch de YC n’encourage une vision de court terme
  • Chez YC, il est très important de se fixer des objectifs hebdomadaires, et le fait d’avancer au sein d’un grand groupe est bon pour la motivation
  • Mais si la diversité des idées n’est pas suffisante, cela peut encourager une réflexion de court terme
  • Construire un produit IA vertical permet d’atteindre rapidement 5 000 dollars de MRR
  • Mais est-ce vraiment ainsi qu’on bâtit une entreprise durable ?
  • Si l’auteur était dans une promotion YC aujourd’hui, il ressentirait probablement la tentation de construire un produit IA vertical
  • En outre, le podcast de YC, "The Light Cone", contient beaucoup de plaidoyers en faveur des produits IA verticaux

[zkdlfrlwl2]

La distinction et l’explication entre la Vertical AI et la Horizontal AI sont intéressantes.