Le Moneyball de l’IA physique

• Les données robotiques ne peuvent pas être extraites de corpus existants comme le texte, et chaque heure utile a un coût ; l’efficacité du capital dépend donc moins du volume total collecté que de la précision avec laquelle on calcule l’utilité marginale par dollar et la nouveauté des données
• Quand les données augmentent, la perte diminue selon une loi de puissance, mais la diversité modifie l’étendue de la généralisation et la borne inférieure de l’erreur ; les répétitions et quasi-doublons saturent rapidement, tandis que les cas d’échec OOD rares apportent une forte utilité
• Les données de déploiement en production suivent une courbe de déplétion du puits qui converge des premiers échecs à haute entropie vers des réussites routinières et des quasi-doublons ; il faut donc sélectionner la queue des échecs plutôt que simplement augmenter le temps d’exploitation
• Les premières tâches robotiques doivent limiter la variabilité de l’environnement pour être commercialement viables, ce qui réduit la dimension intrinsèque et la transférabilité ; le flywheel de production consistant à améliorer un modèle généraliste avec les revenus du déploiement fonctionne difficilement sans portée d’observation externe ni diversité d’interventions
• Le budget données doit être réparti en élargissant la couverture avec des données d’observation à faible coût, en collectant la téléopération coûteuse seulement jusqu’au point de saturation propre à chaque tâche, et en ne sélectionnant dans la télémétrie de production que les échecs OOD

---

Physical AI : le mauvais pricing du volume de données

• En 2002, les Oakland Athletics ont remporté 103 victoires avec la troisième masse salariale la plus faible de la MLB, en exploitant le mauvais pricing du marché sur les joueurs après avoir identifié le pourcentage de présence sur base comme variable réellement corrélée aux points marqués, plutôt que l’esthétique subjective, les bases volées ou la moyenne au bâton
• Dans la Physical AI aussi, le temps d’exploitation cumulé est valorisé parce que c’est un indicateur visible et facile à financer, mais sa corrélation avec la performance réelle des modèles sous-jacents reste faible
• Les données robotiques ne peuvent pas être extraites de corpus existants comme les données textuelles, et chaque heure de données utiles doit être payée, si bien que les coûts augmentent linéairement avec le volume collecté
  • Ken Goldberg estime qu’un modèle de robotique de pointe pourrait nécessiter environ 100 000 ans de données
  • Une infrastructure massive de téléopération manuelle, à elle seule, n’est pas un moyen soutenable de fournir les données supervisées nécessaires à l’AGI
• Même l’approche consistant à déployer des robots sur des sites de production et à obtenir de la télémétrie comme sous-produit du chiffre d’affaires opérationnel peut reproduire la même erreur statistique
  • Les tâches de niche déployables aujourd’hui se situent dans les environnements les moins variables
  • Les données qui en résultent ont une entropie faible et sont corrélées entre elles, donc leur utilité marginale est réduite
• L’équivalent, pour la Physical AI, du pourcentage de présence sur base est la réduction marginale de la perte par dollar, qui intègre à la fois les lois de scaling et le coût d’acquisition des données

Les intérêts qui façonnent la supply chain des données

• Chaque acteur adopte une vision des données qui rend sa propre activité la plus précieuse
  • Les laboratoires de modèles de fondation vendent l’échelle des modèles généralistes et considèrent qu’un préentraînement massif et davantage de calcul élimineront les erreurs sur les edge cases
  • Les entreprises de téléopération privilégient le volume brut de données, car leur chiffre d’affaires augmente avec le temps d’exploitation plus qu’avec l’utilité ou la nouveauté des données
  • Les fabricants de matériel établis partent du principe que l’environnement est normal et stable, puisque leurs solutions échouent hors distribution
  • Une part importante de la recherche universitaire en robotique estime que l’écart peut être comblé par la physique, les modèles et le contrôle plus que par les données
• neo-integrator cherche à contourner le goulot d’étranglement de la collecte de données en déployant des robots spécialisés en production commerciale et en traitant les échecs par intervention humaine
  • Evan Beard propose un flywheel économique dans lequel la télémétrie de production génère la nouveauté nécessaire aux capacités multi-tâches
  • Kyle Vedder rétorque que les environnements prêts à payer pour les premières installations robotiques sont intrinsèquement peu variables, ce qui crée une contrainte de novelty pump
• Pour juger quelle stratégie produit le plus haut niveau de capacité modèle par dollar, il faut comparer à la fois les lois de scaling empiriques et l’économie unitaire de l’acquisition des données

Trois types de données selon le coût et le mode de supervision

• Les données d’observation sont peu coûteuses et couvrent un large spectre, comme les vidéos à la première ou à la troisième personne ; elles élargissent le support de l’espace de représentation, mais ne fournissent pas de supervision d’action directe
• Les données d’intervention sont coûteuses et plus étroites en couverture, comme les démonstrations en téléopération, mais elles contiennent explicitement des trajectoires état-action, avec un coût qui augmente proportionnellement au travail humain
• Les données de déploiement sont une télémétrie brute générée de manière endogène par les systèmes en production
  • L’exploitation elle-même peut parfois être déficitaire
  • La distribution des données est déterminée par les conditions d’exploitation commerciale, et non par la conception algorithmique
• Maximiser les données peut accroître le bruit à faible entropie et dégrader l’efficacité d’apprentissage
  • Dans le jeu de données C4 des modèles de langage, la suppression des formules toutes faites et des quasi-doublons, puis l’élargissement de la couverture en tokens uniques à budget constant, ont permis d’améliorer les modèles
• Un pipeline de données est un problème d’allocation du capital : il faut évaluer ce que 1 dollar permet d’obtenir dans chaque type, où apparaît l’information nouvelle, et si les données de déploiement peuvent élargir le périmètre des tâches

L’utilité des données vue par les lois de scaling

• Volume de données et réduction de la perte

  • Quand les données, la taille du modèle et la quantité de calcul augmentent, la perte de test diminue selon une loi de puissance linéaire en échelle log-log, mais l’ampleur des gains se réduit et finit par atteindre une borne inférieure

  • La forme combinée de Kaplan 2020 et Hoffmann 2022 s’écrit comme suit pour la taille du modèle (N) et le nombre de tokens (D)

    [ L(N,D)=E+A N^{-\alpha}+B D^{-\beta} ]

  • Dans une allocation optimale du calcul, cela se réduit à une enveloppe unidimensionnelle en fonction des données

    [ L^{*}(D)=E+\tilde B D^{-\beta} ]

• (E) est l’incertitude prédictive que le modèle ne peut pas éliminer ; la forme de la fonction est cohérente, mais les valeurs numériques restent approximatives, comme l’explique Besiroglu 2024

• Diversité et dimension intrinsèque

  • Un mélange de données diversifiées produit simultanément deux effets indépendants du volume de données
    • il abaisse le plancher d’erreur asymptotique via le transfert inter-domaines et l’élargissement de la couverture de la variété
    • il augmente la dimension intrinsèque du jeu de données (d_{\text{int}})
  • Dans la zone de limitation par la résolution pour des objectifs lisses, la relation (\beta \approx 4/d_{\text{int}}) tient selon Sharma & Kaplan 2020 et Bahri 2021
  • Réduire de moitié la dimension intrinsèque d’une tâche double approximativement l’exposant de scaling, ce qui fait baisser la perte plus vite
  • En contrepartie, cela peut conduire à converger vers des optima inférieurs qui généralisent mal ; il ne faut donc pas abaisser artificiellement la dimension intrinsèque de la distribution de préentraînement
  • La loi de mélange de données de Ye et al. 2024 décompose la perte d’un mélange en lois de puissance par domaine et en un terme de couplage inter-domaines, ce dernier déterminant le transfert positif et les interférences négatives

• Saturation des répétitions et dégradation des performances

  • Les données répétées montrent une efficacité comparable à celle de nouveaux tokens jusqu’à environ 4 époques (epochs), mais leur utilité chute rapidement ensuite et finit par dégrader les capacités
  • Muennighoff et al. 2023 ajustent une forme de saturation exponentielle avec une demi-vie (R^{*}\approx15)
  • Répéter 4 fois n’entraîne presque aucune perte
  • À partir de 16 répétitions, on entre dans une zone claire de rendements décroissants où le calcul supplémentaire ne produit plus d’information nouvelle
  • Si le nombre d’exemples uniques est (U) et le nombre de répétitions (r=T/U), alors la taille effective des données est (D_{\text{eff}}=U\cdot f(r)), où (f(r)) sature exponentiellement
  • Selon Hernandez et al. 2022, répéter de façon excessive une portion étroite des données provoque une double descente locale de la perte de test et endommage les induction heads et copying heads nécessaires à l’apprentissage en contexte
  • En répétant 100 fois 0,1 % du corpus total, les performances sur les sous-tâches d’un modèle de 800 millions de paramètres chutent au niveau d’un modèle de 400 millions de paramètres

• Doublons proches et saturation locale

  • Les doublons proches ont une utilité continue située entre la répétition parfaite et l’échantillon totalement nouveau
  • Lee et al. 2021 ont constaté dans C4 des cas où la même phrase apparaît plus de 60 000 fois
  • La déduplication réduit la mémorisation littérale et accélère la convergence en allouant le budget de tokens à des variétés distinctes
  • Une petite variation (\varepsilon) amène (x) et (x+\varepsilon) à être projetés vers la même cible, ce qui agit comme une régularisation implicite par cohérence
    • les variations très faibles ont peu d’utilité
    • les variations de taille intermédiaire sont utiles pour la régularisation
    • lorsque la variation devient assez grande, elle constitue une donnée distincte
  • Un échantillonnage dense d’un voisinage étroit sature rapidement la capacité locale et nuit aux performances du modèle

• Événements rares et longue traîne

  • Les événements rares hors distribution (OOD) forment une queue d’échec qui limite les performances du modèle à la frontière du scaling ; ils ont donc une forte utilité marginale
  • Les distributions physiques réelles ont une longue traîne et, selon Michaud et al. 2023, les capacités macroscopiques émergent à mesure que des sous-compétences distribuées selon Zipf sont acquises par ordre de fréquence
  • Selon Feldman 2020, atteindre une précision de pointe exige d’apprendre des sous-groupes rares qui représentent une part importante de la densité opérationnelle totale
  • Sorscher et al. 2022 montrent qu’en sélectionnant des échantillons difficiles et peu fréquents, on peut contourner les contraintes habituelles des lois de puissance
  • Les edge cases issus de la stochasticité du monde réel sont difficiles à reproduire par génération synthétique ou staging structuré
  • Plus la distribution connue s’élargit, plus les nouvelles variantes restantes deviennent exponentiellement rares, ce qui fait exploser le coût de découverte

L’économie de l’utilité marginale par dollar

• Perte par tâche et allocation du capital

  • Dans les modèles de langage, le calcul est la contrainte et les données sont abondantes ; en robotique, c’est le coût d’acquisition de données utiles qui constitue la contrainte directe

  • L’objectif global de capacité est modélisé comme une combinaison de clusters de tâches (j) dotés de poids a priori (\pi_j), et la perte de chaque cluster suit la forme suivante

    [ L_j=A_j(\phi)+B_j(\phi)D_j^{-\beta_j} ]

  • (A_j(\phi)) est le plancher sous la configuration de capteurs (\phi), (D_j) le volume de données, et (\beta_j\approx4/d_j) l’exposant déterminé par la dimension intrinsèque (d_j)

  • Pour allouer au mieux un capital fini, il faut dépenser de sorte que la valeur marginale par dollar soit égale sur tous les canaux de collecte et de curation

  • Les canaux d’intervention bénéficient d’une prime pour la supervision directe des actions, mais le volume de données y sature vite ; leur utilité économique principale provient donc du transfert de compétences entre tâches

  • Le coût du canal (i) est noté (c_i), sa fonction de saturation (g_i(n_i)), et sa projection de transfert vers la tâche (j) (w_{ij})

  • À mesure que le volume collecté augmente et que (g_i'(n_i)) diminue, l’utilité par dollar diminue elle aussi

  • Les canaux d’observation améliorent l’espace de représentation sans labels d’action et influencent le plancher d’erreur (A_j) ainsi que le coefficient de scaling (B_j)

• Le plancher d’erreur déterminé par les capteurs

  • L’erreur probabiliste n’est pas une valeur absolument fixe ; elle est relative à l’état d’information observé par les capteurs d’un robot donné

  • Le plancher d’une tâche (j) sous la configuration de capteurs (\phi) peut s’écrire comme l’entropie conditionnelle (A_j(\phi)=E[H[a|s_\phi]])

    [ A_j(\phi)=A_j^{\min}+\left(A_j(\phi)-A_j^{\min}\right) ]

  • (A_j^{\min}) est la limite physique qu’aucun capteur ne peut éliminer, le reste étant la part que de meilleurs capteurs peuvent réduire

  • Les variations d’environnement qu’un capteur basse résolution ne peut distinguer apparaissent comme du bruit aléatoire pour le modèle, tandis qu’un capteur haute résolution les transforme en erreur épistémique apprenable

  • Les données d’action rapprochent la perte de (A_j(\phi)), tandis que de meilleurs capteurs abaissent (A_j(\phi)) lui-même

  • Pour un seuil de rentabilité de perte (L_{\text{neutral}}) sur une tâche, il faut que (A_j(\phi)\ll L_{\text{neutral}}) pour qu’un déploiement soit possible

  • Si même avec une configuration de capteurs optimale (A_j^{\min}\ge L_{\text{neutral}}), augmenter le volume de données ne sert à rien

  • Dans ce cas, il faut modifier la configuration matérielle ou choisir une autre tâche opérationnelle

Courbe de dépréciation des données de déploiement et pièges de convergence

• La télémétrie de production s’épuise comme un puits pétrolier

  • Au début de la production, des modes de défaillance à forte entropie apparaissent, mais à mesure que les anomalies sont corrigées, les données se transforment en doublons proches et en répétitions, et leur utilité chute brutalement

  • L’utilité effective d’une distribution locale sature exponentiellement, comme dans (U_{\text{eff}}(n)=U_0+\Delta U(1-e^{-n/n_c}))

  • Au-delà du point de saturation, ou covering number, (n_c), le flux de production converge vers des données répétitives de faible utilité

  • La forte valeur se concentre dans la queue des échecs, tandis que les succès routiniers n’ont pas d’utilité marginale

  • Le coût net des données de déploiement varie selon le taux d’erreur, le coût des interventions et des pertes de débit, ainsi que la valeur d’achèvement de la tâche

    [ c_{\text{dep}}(L)=\rho(L)(\kappa_{\text{int}}+\kappa_{\text{prod}})-\nu ]

• Avant le seuil de rentabilité où (c_{\text{dep}}\approx0), la collecte de données est déficitaire ; il faut donc injecter du capital externe dans le déploiement initial non pas comme chiffre d’affaires d’exploitation, mais comme actif de R&D

  • On suppose souvent qu’un déploiement avec intervention commence à 95 % de performance et que la rentabilité apparaît à 99,5 %, mais les données nécessaires entre (L_{\text{start}}) et (L_{\text{neutral}}) peuvent augmenter de plusieurs ordres de grandeur en raison de la loi de puissance
  • Si l’objectif de seuil de rentabilité se rapproche de la borne inférieure d’erreur, de sorte que (\Delta_{\text{safe}}=L_{\text{neutral}}-A_j(\phi)\to0), les données et les coûts nécessaires divergent de façon superlinéaire
  • Les tâches pour lesquelles (L_{\text{neutral}}\approx A_j(\phi)) deviennent un puits de capital
  • Avant d’augmenter l’échelle du déploiement, il faut améliorer la couverture des données et le sensing

• Collision entre convergence commerciale et généralisation

  • Pour déployer commercialement un foundation model non optimal, il faut limiter artificiellement la variabilité de l’environnement afin de réduire la dimension intrinsèque de la tâche
  • Un faible (d_j) produit un grand (\beta_j), ce qui accélère la convergence, mais vers une variété étroite et non transférable
  • Les données corrélées et à faible entropie obtenues dans des cellules d’exploitation structurées n’élargissent pas la frontière de généralisation d’un modèle générique et enferment le système dans sa niche initiale
  • Chaque tâche fragmentée à faible variabilité entraîne un coût de NRE (non-recurring engineering), et pour atteindre des marges comparables à celles du logiciel, le coût marginal d’intégration des nouvelles tâches ajoutées séquentiellement doit tendre vers zéro
  • Deux types de biais de données créent des limites différentes
    • Biais de staging : les données d’intervention ont une forte densité comportementale mais sont artificiellement structurées, comme en simulation ou en laboratoire, et ne capturent pas la queue stochastique des défaillances de l’environnement physique réel
    • Biais de distribution : les données de déploiement proviennent d’environnements réels, mais sont limitées à des niches à faible variabilité pour survivre commercialement, et échantillonnent donc un mauvais mélange de distributions
  • Une stratégie d’extension séquentielle d’une tâche étroite vers des tâches plus larges n’est économiquement viable que si l’augmentation des tâches déployables est plus rapide que le déficit cumulé de NRE
  • Comme cette extension est difficile avec les seules données de déploiement issues de niches commerciales, il faut un apport externe de portée d’observation pour abaisser la borne inférieure d’erreur, ainsi que de diversité d’intervention pour élargir la frontière de généralisation, afin d’enclencher le flywheel de production

Indicateurs de densité informationnelle remplaçant le temps d’exploitation

• Le coût marginal d’intégration par tâche suit, en comptabilité de projet, le coût de NRE généré par chaque nouvelle tâche
  • Si les coûts ne diminuent pas malgré l’élargissement du portefeuille de tâches, c’est que la couche de modèle n’accumule pas de représentations entre les tâches
  • La structure de l’activité est alors plus proche d’une intégration de systèmes linéaire que d’un logiciel scalable
• Le point de saturation par tâche (n_c) identifie le point où la courbe d’apprentissage par tâche et par environnement s’aplatit
  • Arrêter la collecte à ce point permet de réduire le principal gaspillage du budget de téléopération manuelle
• Le taux de dérive de distribution (v_j) suit la fréquence d’apparition des entrées OOD et la fréquence de réentraînement
  • Comme une distribution cible non stationnaire continue de créer de nouveaux modes d’échec, une télémétrie de déploiement continue est la seule condition opérationnelle permettant de conserver un avantage data
• La couverture de clusters mesure, au lieu du nombre brut d’épisodes, le nombre de clusters de tâches, d’objets et d’environnements orthogonaux dans des embeddings de données standard
  • L’expansion des clusters dans le temps sert de proxy pour la généralisation inter-domaines
• La densité de nouveauté des données estime la densité informationnelle du flux entrant via des heuristiques d’apprentissage actif comme le désaccord d’ensemble ou la variance prédictive des états enregistrés
  • Elle filtre les réussites routinières à faible entropie et priorise la queue des échecs à forte utilité
• La borne inférieure d’erreur contingente (A_j(\phi)), qui détermine la faisabilité, ne peut pas être mesurée directement
  • On peut estimer la valeur asymptotique (E) en ajustant (L(D)=E+BD^{-\beta}), mais l’erreur d’approximation est trop grande pour en faire un indicateur opérationnel direct

Écosystème robotique selon la stratégie de données

• Les laboratoires model-first préentraînent en raffinant et nettoyant à grande échelle des corpus d’observation issus de différentes morphologies robotiques, en cherchant à obtenir dans ce périmètre une généralisation cumulative
  • Les laboratoires de world models parient sur des modèles appris pour produire à faible coût des données d’intervention
  • Ni le préentraînement statique ni la simulation synthétique ne reproduisent fidèlement la queue contingente des échecs sur edge cases du déploiement réel
• Les acteurs verticalement intégrés assurent eux-mêmes la collecte et le raffinage des données sur du matériel propriétaire
  • Des données alignées sur le hardware sont efficaces
  • Sauf dans des domaines intrinsèquement très variables comme la conduite autonome, ils tombent dans un piège circulaire de manque de nouveauté, parce que la viabilité commerciale les pousse à se limiter à des environnements à faible variabilité
• Le neo-integrator dispose d’une base opérationnelle peu profonde mais large dans divers environnements industriels, ce qui le place favorablement pour obtenir de la diversité de tâches
  • Un modèle économique qui traite cela uniquement comme une surface opérationnelle facturable, au lieu d’un environnement de données à raffiner activement, est une erreur stratégique
• Les prestataires de téléopération vendent du temps d’exploitation et sont donc incités à maximiser le volume brut de données plutôt que l’étendue unique des échantillons
  • Ils produisent des données même au-delà du point de saturation (n_c) par tâche, et fournissent des outils d’infrastructure qui génèrent un revenu local, sans créer d’avantage de scaling
• Les fabricants de hardware historiques défendent des marchés rentables à faible variabilité, conçus pour la reproduction déterministe des opérations
  • Comme ils collectent très peu de données d’apprentissage, ils n’ont aucune voie pour remonter la courbe de scaling
• Dans la Physical AI, la capacité la plus rare est l’identification et la capture de la nouveauté des données ; la valeur s’accumule dans les équipes opérationnelles capables de repérer les variations OOD, indépendamment des frontières organisationnelles traditionnelles entre recherche et ingénierie hardware

Différences entre Physical AI et applications LLM

• Des applications logicielles comme Cursor et Harvey capturent de la valeur économique en empruntant des foundation models au niveau du token, tout en s’appuyant sur l’intégration aux workflows et une distribution propriétaire
• La capture de valeur économique et les capacités du modèle sont des variables distinctes, et la Physical AI se distingue des applications logicielles sur trois axes

• Dimension de la tâche et vitesse de saturation

  • Le développement logiciel a une dimension intrinsèque élevée, si bien que le feedback continu du workflow continue d’apporter une utilité marginale
  • Les tâches physiques comme le picking structuré en entrepôt ont une dimension intrinsèque faible, de sorte que les flux de données par tâche saturent vite et entrent rapidement dans une zone de rendements décroissants

• Asymétrie de la couche foundation

  • Les applications logicielles opèrent en aval de foundation models génériques et fortement subventionnés à grande échelle
  • La Physical AI ne dispose pas d’une couche foundation générique équivalente que l’on puisse emprunter ; les déploiements robotiques actuels doivent donc réduire artificiellement la variabilité environnementale pour rester opérationnels
  • Les sous-distributions spécialisées collectées de cette manière ne produisent pas de généralisation plus large

• Coût de la télémétrie et marges

  • Le logiciel permet d’observer intégralement, à faible coût, toute la boucle opérationnelle via le code source, les modifications utilisateur, les résultats de compilation, etc.
  • La télémétrie physique coûte cher à collecter et laisse subsister des zones intrinsèquement non observables à cause de la résolution des capteurs
  • Si les données d’observation fondamentales de la Physical AI restent un actif compétitif et propriétaire, le levier se concentre dans la couche de modèle amont
  • Les fournisseurs d’infrastructure conservent un pouvoir de prix propriétaire, et les marges des applications aval subissent une pression

Comment allouer le budget data

• Il faut exclure le temps d’exploitation cumulé des indicateurs fondamentaux de performance du modèle et évaluer l’efficacité d’ingénierie et le scaling via le coût marginal d’intégration par tâche, les seuils de saturation, la couverture des clusters d’embeddings et le taux de dérive de distribution
• Ni les données d’intervention mises en scène ni les données de déploiement étroites ne suffisent, à elles seules, à étendre un foundation model
  • Le staging à haute capacité sature rapidement en couverture par tâche et produit des rendements décroissants
  • Le déploiement commercial manque de nouveauté dans les niches rentables et génère des coûts de NRE liés au traitement des erreurs propres à chaque environnement
• Il faut allouer en priorité à la portée d’observation des données peu coûteuses et très diversifiées afin d’abaisser la borne inférieure d’erreur contingente et d’élargir les limites des capacités de base
• Le staging d’intervention ne doit être mené que jusqu’au point de saturation (n_c) de la tâche, puis le budget restant doit être réalloué à la diversité des tâches plutôt qu’à la répétition de la même tâche
• Dans la télémétrie de déploiement, il faut isoler les edge cases OOD et les modes d’échec, et écarter les grands volumes de réussites routinières sans densité informationnelle
• Même si le déploiement initial peut produire quelques signaux utiles, une exploitation continue avant le seuil de rentabilité consomme du capital
• L’efficacité du capital en Physical AI ne scale pas avec la maximisation du volume de données, mais avec la capacité à fixer un prix précis à la nouveauté des données