- À l’image des tokens, qui mesurent l’usage de l’IA, les tâches (tasks) — unités de travail sur les données qui améliorent les capacités des modèles — devraient constituer un vaste marché pour mesurer les investissements dans l’IA
- Alors que les données d’apprentissage issues d’Internet et les capacités simples et généralistes arrivent à saturation, les données de haute qualité, capables d’enseigner le savoir tacite des experts dans des environnements réels, deviennent le goulet d’étranglement du progrès des modèles
- Une tâche fournit un état initial et un environnement de travail, puis évalue le résultat via un signal de récompense ou un vérificateur, afin d’apprendre au modèle des procédures de travail expertes difficiles à reproduire avec le seul Internet public
- Les dépenses de données d’OpenAI et d’Anthropic sont multipliées par 10 chaque année, tandis que Mercor, après avoir atteint 1 milliard de dollars d’ARR en février, a atteint 2 milliards de dollars quatre mois plus tard
- Le droit, la santé, la finance, le logiciel et la science nécessitant chacun des jeux de données, des systèmes d’évaluation et des environnements d’apprentissage par renforcement distincts, la concurrence autour de l’infrastructure de données devrait s’intensifier entre laboratoires d’IA, entreprises applicatives et entreprises généralistes
L’économie des tokens pour mesurer la croissance de l’IA
- Les tokens d’inférence se sont imposés comme un indicateur clé pour suivre la croissance de l’écosystème de l’IA
- Les entreprises cotées publient le nombre de tokens traités mensuellement pour montrer la croissance de l’IA
- Les analystes comparent l’usage des tokens par modèle, comme dans le classement OpenRouter
- Les dirigeants mesurent les investissements et le niveau d’adoption de l’IA à travers l’évolution de l’usage des tokens
- Les tokens abstraient des processus d’inférence complexes en une unité de mesure unique, servant de langage commun pour comprendre l’expansion de l’IA même sans bagage technique
- La hausse du nombre d’utilisateurs de l’IA, le passage des modèles non raisonnants aux modèles raisonnants, et la transition des requêtes vers les agents se traduisent tous par une augmentation des tokens
- Les agents en arrière-plan et les agents de longue durée augmentent eux aussi la consommation de tokens
- La combinaison de l’adoption croissante et de l’intensité en tokens par modèle fait rapidement grimper l’usage total, attirant investissements et nouveaux entrants vers le marché de l’inférence
- La forte visibilité du marché de l’inférence peut masquer d’autres dynamiques, potentiellement d’ampleur comparable mais plus difficiles à comprendre
L’émergence de l’économie des tâches
- Ces trois dernières années, les LLM sont passés de la simple question-réponse à l’inférence complexe, puis à des agents capables d’exécuter de véritables tâches sur de longues durées
- Les premières améliorations des modèles reposaient sur les données d’Internet et davantage de ressources de calcul, mais les deux évolutions suivantes font des données supplémentaires de haute qualité un goulet d’étranglement
- Les nouvelles données exploitables pour l’apprentissage sur Internet s’épuisent
- Les capacités simples et généralistes arrivent progressivement à saturation
- L’économie des tâches désigne le marché qui crée et fournit les données nécessaires à l’amélioration supplémentaire des modèles
La tâche comme unité d’amélioration des modèles
- Dans l’apprentissage par renforcement, une tâche est l’unité sur laquelle un modèle s’entraîne
- Elle fournit au modèle un état initial et un environnement dans lequel agir
- Elle note les actions du modèle au moyen d’un signal de récompense ou d’un vérificateur
- Les scores de plusieurs tâches sont agrégés en signal d’apprentissage afin d’ajuster le modèle vers les comportements qui obtiennent les meilleurs scores
- Au sens strict, cela désigne le socle du post-entraînement par apprentissage par renforcement, mais le terme est utilisé ici comme une unité couvrant plus largement l’amélioration des modèles par les données
- À mesure que l’industrie crée de nouveaux formats de données pour améliorer les modèles, le périmètre des tâches s’élargit également
- Le data labeling traditionnel évoque des boîtes englobantes ou des évaluations « j’aime / je n’aime pas » de réponses de LLM, mais le marché actuel évolue vers des travaux plus complexes et à plus forte valeur
Fonctionnement dans le travail juridique
- Une IA entraînée sur l’Internet public peut comprendre les concepts juridiques de base et la jurisprudence publique, mais Internet ne contient pas suffisamment de données pour reproduire le travail réel d’un avocat compétent
- Pour apprendre un travail juridique de haute qualité, il faut combiner les éléments suivants
- Des prompts, comme l’examen de contrats ou la rédaction d’arguments
- Un environnement réellement pertinent, comme une data room juridique
- Une vérification des résultats selon des critères tels que le tableau d’évaluation des agents avocats d’entreprise
- Ces tâches n’enseignent pas seulement au modèle ce qu’il doit faire, mais aussi comment le faire ; plus il existe de tâches de haute qualité, plus les capacités du modèle s’améliorent
Une structure de croissance commune aux tokens et aux tâches
- Si les tokens sont l’unité de base de l’inférence et de l’usage des modèles, les tâches peuvent être vues comme l’unité de base de l’amélioration des modèles
- La demande de tâches augmente sous l’effet combiné de l’adoption de l’IA et des besoins croissants en données des modèles de pointe
- Passage de simples labels de préférence à des travaux fondés sur des grilles d’évaluation réalisées par des experts qualifiés
- Apparition d’agents spécialisés de niveau expert
- Exécution par les agents de tâches sur des horizons temporels plus longs
- Adoption à grande échelle de systèmes d’évaluation par les entreprises
- Comme sur le marché des tokens d’inférence, ces facteurs se superposent et entraînent une croissance rapide de l’économie des tâches
Dépenses de données et signaux de croissance du marché
- OpenAI et Anthropic mobilisent des experts pour créer des données et des supports d’entraînement pour agents, et multiplient leurs dépenses de données par 10 chaque année
- Certaines grandes entreprises d’applications IA et entreprises généralistes, considérant les données comme un avantage concurrentiel, portent rapidement leurs dépenses liées à des tâches spécifiques à plus de 100 millions de dollars
- Elles estiment qu’une IA applicative dotée d’une stratégie de données différenciée peut produire de meilleurs résultats que des modèles généralistes prêts à l’emploi
- La plateforme d’économie des tâches Mercor a atteint 2 milliards de dollars d’ARR quatre mois après avoir atteint 1 milliard de dollars d’ARR en février
- Les agents capables de reproduire le travail dans des domaines avancés en sont encore à leurs débuts, et l’augmentation des dépenses de données des entreprises ne fait que commencer
- En partant du principe que 99 % du savoir humain que l’IA devra traiter à l’avenir se trouve dans la tête des gens, le nombre de participants et d’acheteurs devrait s’élargir à mesure que les laboratoires d’IA, les entreprises applicatives et les entreprises généralistes transfèrent ce savoir tacite vers les modèles et les agents
Pourquoi le marché des tâches reste peu visible
- La première raison pour laquelle les tâches sont moins discutées en ligne que les tokens est que les dépenses se sont concentrées dans des laboratoires d’IA de pointe très secrets
- Les laboratoires divulguent très peu leurs stratégies d’amélioration des modèles et leurs dépenses en données et en tâches
- La situation évolue à mesure que les entreprises d’applications IA et les entreprises généralistes participent à l’économie des tâches pour se différencier des modèles prêts à l’emploi
- Elles sont plus susceptibles de mettre en avant leurs propres activités de données, ce qui pourrait accroître la visibilité du marché des tâches
- La deuxième raison est qu’il n’existait pas d’unité commune abstraisant simplement la valeur, comme les tokens sur le marché de l’inférence
- Utiliser les tâches comme unité de valeur standard permettrait même aux personnes sans connaissances techniques de comprendre combien l’industrie investit pour améliorer les capacités de l’IA
- Il n’existe pas encore de service de type « OpenRouter pour les tâches » montrant en temps réel l’échelle et la croissance des tâches
- Les données trimestrielles de Mercor sur les heures de travail d’experts servent d’indicateur indirect de la croissance du marché
Construire les données pour l’ensemble de l’activité économique
- Pour automatiser avec des agents toutes les tâches effectuées sur un ordinateur portable, il faudra couvrir l’ensemble des applications, environnements et distributions de tâches de l’économie
- Cela nécessite une construction de données à grande échelle dans tous les métiers spécialisés, disciplines académiques et cas d’usage grand public
- Le droit, la santé, la finance, le logiciel et la science exigent chacun des jeux de données créés par des experts
- Des systèmes d’évaluation et des environnements d’apprentissage par renforcement propres à chaque domaine devront également être mis en place
- Les laboratoires d’IA, les entreprises applicatives et les entreprises généralistes se feront concurrence en développant leur infrastructure de données sur l’ensemble des tâches économiquement utiles
- Les organisations qui réussiront à construire cette infrastructure de données pourront continuer à améliorer leurs capacités de pointe et gagner des parts de marché
- Lorsque l’économie des tâches sera largement adoptée et plus visible, l’industrie de l’IA devrait suivre, aux côtés des tokens, l’échelle des tâches comme indicateur majeur de croissance
Améliorations algorithmiques et périmètre de la discussion
- Les capacités générales de l’IA peuvent progresser non seulement grâce aux données, mais aussi grâce aux améliorations algorithmiques des modèles
- Le fait d’exclure les améliorations algorithmiques ne vise pas à nier leur potentiel futur, mais à définir un périmètre centré sur les données et l’économie des tâches
Aucun commentaire pour le moment.