Xiaomi-Robotics-1 - Un modèle de fondation robotique entraîné sur 100 000 heures de données réelles

• Un modèle de base qui atténue le manque de données des modèles de politiques robotiques en étant préentraîné sur des trajectoires UMI indépendantes du robot à l’échelle de 100 000 heures, puis affiné sur des données de robots réels
• Plus de 1 700 scénarios ont été annotés automatiquement pour apprendre des capacités générales de génération d’actions, puis le modèle a été aligné sur les morphologies robotiques et les commandes en langage naturel lors de l’affinage
• À mesure que les données de préentraînement et la taille du modèle augmentaient, l’erreur de validation sur les actions diminuait, et le taux de réussite sur robots réels mesuré dans des environnements et sur des objets inconnus progressait aussi régulièrement, sans signe de saturation
• Avec moins de 10 heures de démonstrations en moyenne par tâche, le système a atteint un taux de réussite global de 75 % sur l’emballage de téléphones, le réapprovisionnement d’imprimantes, le chargement de linge et l’emballage de cartons ; avec moins de 40 heures en moyenne, il a atteint 85 %
• Meilleure performance sur RoboCasa, RoboCasa365, VLABench et RoboDojo, montrant que l’effet de généralisation du préentraînement UMI à grande échelle se traduit à la fois par l’adaptation sur robots réels et par les évaluations standard

---

Un apprentissage en deux étapes pour dépasser la barrière des données robotiques

• Les modèles langage-vision ont vu leurs performances progresser avec l’augmentation des données, des paramètres et du calcul, mais les modèles de politiques robotiques ont été limités dans leur montée en échelle par le manque de données massives et de haute qualité
• Xiaomi-Robotics-1 utilise une méthode d’apprentissage en deux étapes : préentraînement sur de grandes quantités de données UMI indépendantes du robot, puis affinage avec un volume relativement réduit de données de robots réels
• Cette approche permet d’évaluer les lois de passage à l’échelle des modèles de politiques robotiques et de vérifier si les gains du préentraînement se transfèrent aux performances sur robots réels

Composition des données de préentraînement et d’affinage

• Les données de préentraînement sont constituées de 100 000 heures de trajectoires UMI
  • Elles couvrent plus de 1 700 scénarios et diverses tâches, incluant des foyers, des sites commerciaux, des environnements industriels et des espaces extérieurs
  • Une pipeline d’annotation automatique a été développée pour découper les trajectoires en segments de longueur fixe, puis consigner en langage les changements d’état de la scène dans chaque segment
• Pour l’affinage, un jeu de données couvrant plusieurs morphologies robotiques a été utilisé
  • Données de robots réels collectées en interne
  • Données robotiques open source filtrées
  • Données UMI de haute qualité soigneusement sélectionnées
• Les données internes comprennent plus de 7 200 heures de tâches robotiques réelles collectées dans de vrais foyers
  • Elles couvrent des tâches comme ranger un canapé, trier un meuble à chaussures ou stocker des ustensiles de cuisine
• Les données UMI pour l’affinage sont annotées manuellement par des humains avec des segments temporels et des prompts d’instruction
  • Cela les distingue des descriptions de transitions d’état générées automatiquement et utilisées pour le préentraînement

Préentraînement UMI et annotation automatique

• Le préentraînement est l’étape où le modèle est exposé à divers environnements réels et tâches afin d’apprendre des représentations générales de génération d’actions
• L’annotation manuelle étant difficile à cette échelle, une pipeline automatisée basée sur un puissant modèle vision-langage (VLM) a été mise en place
  • Les longues vidéos sont découpées en clips de longueur fixe
  • Pour chaque clip, le VLM décrit les changements d’état du gripper et des objets en interaction
  • Cela permet de produire un grand corpus combinant trajectoires de manipulation réelles et descriptions linguistiques précises
• Le modèle est entraîné à générer des actions qui transforment la scène conformément aux transitions d’état décrites en langage
• À mesure que la quantité de données et la taille du modèle augmentent, on observe une loi de passage à l’échelle nette, avec une baisse continue de l’erreur de validation sur les actions

Alignement sur les robots réels et les commandes en langage naturel

• L’affinage aligne les capacités de génération d’actions acquises au préentraînement selon deux axes
  • Alignement morphologique robotique : la capacité générale de génération d’actions est mappée sur des robots physiques à l’aide de données réelles multi-morphologies de haute qualité
  • Alignement des commandes : le modèle, qui recevait auparavant des descriptions de transitions d’état de scène, est transformé pour comprendre et exécuter directement des commandes en langage naturel
• Une fois l’affinage terminé, le modèle peut être utilisé sans ajustement supplémentaire sur diverses tâches réelles de mobilité et de manipulation
• Pour vérifier si l’effet de montée en échelle du préentraînement se transfère, les performances sur robots réels ont été évaluées dans des environnements et sur des instances d’objets jamais vus
• À mesure que les données de préentraînement et la taille du modèle augmentent, le taux de réussite sur robots réels progresse lui aussi de façon régulière et prévisible
  • Des modèles de préentraînement plus puissants conservent de meilleures performances sur robots réels après affinage
  • Les gains de taux de réussite liés à l’augmentation des données et de la taille du modèle ne montrent aucun signe de saturation

Apprendre de nouvelles tâches avec peu de données

• Xiaomi-Robotics-1 s’adapte à de nouvelles tâches complexes avec seulement quelques heures de démonstrations sur robot réel par tâche
• Les tâches d’évaluation utilisées sont l’emballage de téléphones, le réapprovisionnement d’imprimantes, le chargement de linge et l’emballage de cartons
• Avec moins de 10 heures de démonstrations en moyenne par tâche, il enregistre un taux de réussite global de 75 %, dépassant largement les 40 % du modèle de référence Ï0.5 avec le même budget de données
  • Emballage de téléphones : XR-1 70 %, Ï0.5 30 %
  • Réapprovisionnement d’imprimantes : XR-1 70 %, Ï0.5 20 %
  • Chargement de linge : XR-1 80 %, Ï0.5 40 %
  • Emballage de cartons : XR-1 80 %, Ï0.5 70 %
• En passant à moins de 40 heures en moyenne par tâche, le taux de réussite global monte à 85 % pour XR-1, contre 53 % pour Ï0.5
  • Emballage de téléphones : XR-1 80 %, Ï0.5 40 %
  • Réapprovisionnement d’imprimantes : XR-1 60 %, Ï0.5 20 %
  • Chargement de linge : XR-1 100 %, Ï0.5 50 %
  • Emballage de cartons : 100 % pour les deux modèles

Performances sur quatre benchmarks de simulation

• Le modèle obtient la meilleure performance sur quatre benchmarks majeurs de simulation axés sur la généralisation
  • RoboCasa : taux de réussite moyen de 74,5 %, soit une amélioration de 2,6 % par rapport au 2e à 72,6 %
  • RoboCasa365 : 57,4 %, soit une amélioration de 23,2 % par rapport au 2e à 46,6 %
  • VLABench : 59,1 %, soit une amélioration de 11,1 % par rapport au 2e à 53,2 %
  • RoboDojo : 13,93 %, soit une amélioration de 58,3 % par rapport au 2e à 8,80 %
• Les effets de généralisation et de passage à l’échelle acquis lors du préentraînement se retrouvent également dans les évaluations standard en simulation

Résultats de passage à l’échelle et périmètre d’usage

• Le préentraînement UMI à grande échelle atténue le goulet d’étranglement des données robotiques, tandis que l’alignement sur robots réels et sur les commandes transfère la capacité générale de génération d’actions vers des robots physiques
• Les gains de performance liés à la taille des données de préentraînement et du modèle se reflètent directement, après affinage, dans les performances prêtes à l’emploi sur robots réels
• Le modèle de fondation final s’adapte à de nouvelles tâches avec peu de données, tout en atteignant les meilleures performances sur quatre benchmarks de simulation évaluant la généralisation
• Un exemple vidéo non monté d’emballage de valise de voyage a également été publié comme cas d’usage réel

[GN⁺]

Avis de Hacker News

• J’ai regardé la vidéo avec un grand sourire, au point de ne pas comprendre les réactions pessimistes ici. Ça veut dire qu’on a enfin un robot qui fait la lessive, et que le modèle a au moins été publié gratuitement, non ? C’est le futur qu’on attendait, et c’est exactement à cela que la robotique devrait servir

  • Sur HN, il y a pas mal de sentiment anti-chinois, parfois subtil, parfois explicite, et cela a probablement beaucoup influencé les réactions pessimistes
  • Les résultats récents de la Chine en IA et en robotique ont apporté un bénéfice net considérable au monde entier. L’open source est une bonne chose, quelle que soit son origine
  • La meilleure IA, ou le meilleur grand modèle de langage, ne viendra pas d’un énième chatbot de questions-réponses ni de l’automatisation des e-mails ou des dissertations, mais de la robotique. J’aimerais qu’elle fasse la vaisselle et la lessive, et qu’elle retrouve même les objets dont j’ai oublié l’emplacement
  • Le fait qu’un lien montrant une technologie impossible il y a à peine quelques années soit enfoui sous une actualité sur le quasi-navigateur de Kagi en dit long sur les priorités du lectorat de HN. L’Occident pourrait prendre du retard en robotique à cause des mauvaises priorités des investisseurs en capital-risque et des développeurs
  • C’est la technologie la plus stupéfiante que j’aie vue de ma vie, au point de me donner l’impression que la singularité est déjà là. Il est possible que, dans un avenir proche, ce genre de robots s’occupe des bébés et les élève

• Cette vidéo contient plusieurs tâches classiquement très difficiles ; si cela ne vous impressionne pas, réjouissez-vous de ne pas avoir eu à les construire vous-même il y a 10 ans
  On y voit de la coordination à deux mains, un corps mobile, des objets déformables, des points de manipulation fins comme la tirette d’un sac, et des gestes consistant à saisir plusieurs objets à la fois. Chacun de ces sujets a été étudié séparément en perception ou en manipulation, et pourrait donner matière à plusieurs thèses de doctorat

• En voyant un robot à deux mains, je me dis qu’une troisième main dotée de capacités différentes, comme une prise tentaculaire, faciliterait beaucoup de tâches. Plus il y a de membres, plus les problèmes augmentent, mais l’avantage d’avoir davantage de façons de tenir et de faire pivoter un objet est énorme

  • Pour entraîner une troisième main, il faudrait beaucoup de données issues d’un pilotage humain direct. Pour les deux mains, il existe énormément de vidéos d’actions humaines, mais pas pour des membres supplémentaires ; à terme, il faudra sans doute que les robots s’améliorent eux-mêmes ou que de nouvelles méthodes d’optimisation apparaissent
  • Dans le roman de SF The Mote in God's Eye, il y a des extraterrestres à trois mains. Ils ont une main près du ventre pour tenir les objets et deux mains pour le travail de précision, ce qui donne même des expressions du type « d’une part, d’autre part, et avec la main qui tient »
  • Quiconque a déjà réparé une voiture sait qu’une main de plus est toujours utile
  • Il nous faudrait aussi quelque chose comme la loi d’Amdahl pour le nombre de membres

• J’aimerais appeler Slopfold le fait d’accepter qu’un robot plie les vêtements de manière un peu froissée et approximative, parce que c’est plus pratique que de les plier et les repasser parfaitement

  • Les machines à café étaient elles aussi moins bonnes que les baristas au début, puis elles se sont améliorées au fil du temps et font aujourd’hui mieux dans beaucoup de cas. La technologie commence généralement ainsi, par une commodité imparfaite, puis s’améliore
  • En voyant le robot plier des vêtements, je constate qu’il fait déjà mieux que moi
  • Plier les vêtements est en soi un compromis entre les laisser étalés et les suspendre sur des cintres

• Le rythme des progrès est très rapide, et l’IA dominera l’avenir. Je pense que nous ne faisons encore qu’effleurer la surface de ce qui est possible, mais, de façon pessimiste, je trouve que les prédictions de Bill Joy étaient clairvoyantes
  https://www.wired.com/2000/04/joy-2/

• Ce que j’attends le plus du futur probable de l’IA, c’est l’automatisation des tâches ménagères. En Orient, les aides à domicile sont relativement bon marché et faciles d’accès, mais en Occident, employer une femme de ménage ou une aide domestique relève presque du luxe. Je consacre énormément de temps chaque semaine à m’occuper de la maison, et j’attends le jour où je pourrai le récupérer

  • Même en Orient, la plupart des gens n’ont pas accès facilement et à bas coût à une aide domestique. Cela donne cette impression parce qu’on exclut les pauvres de « la plupart »
  • Pour le ménage réel d’une maison, je pense qu’un robot plus avancé qu’un Roomba aura du mal à être moins cher qu’une aide domestique
  • Je me demande ce que vous ferez de ce temps libre que vous voulez tant récupérer

• Le fait que la vidéo ne soit pas montée la rend encore meilleure. On peut citer quantité de choses qu’il ne sait pas faire, comme les escaliers ou les portes étroites, mais les tâches déjà possibles sont impressionnantes, et le panneau de chat améliore aussi l’interactivité

• La bonne direction consiste à concevoir des robots non humanoïdes. À l’avenir, les outils et les appareils électroménagers évolueront pour être utilisés à la fois par les humains et les robots, et la tirette de la fermeture éclair d’un sac à chaussures exige une précision beaucoup trop élevée

  • Il y a désormais suffisamment d’éléments montrant que ce point de vue est faux. Jusqu’à il y a quelques mois, c’était pratiquement l’opinion standard dans la robotique, mais le prix des robots humanoïdes a chuté brutalement avant même le début de la production de masse
    Il est plus probable que l’agilité, l’autonomie et la force des humanoïdes bon marché continuent de s’améliorer grâce aux investissements massifs dans l’apprentissage de tâches réelles, plutôt que de redessiner des millions d’objets du quotidien pour les adapter aux robots spécialisés actuels
  • Les robots non humanoïdes qui prennent en charge des tâches pénibles sont déjà largement utilisés, par exemple pour la maintenance sous-marine. Faire des tâches similaires à celles des humains n’oblige pas à avoir une forme humaine
    Je veux des essaims de robots insectoïdes qui éliminent les moustiques, des robots serpentiformes qui réparent la plomberie, et des robots arachnéens qui nettoient les surfaces
  • Il vaut mieux mélanger les deux approches. Certains objets, comme les portes, sont déjà adaptés aux mains et aux pieds, mais d’autres formes de prise ou des bras supplémentaires pourraient aider
  • Les robots n’ont pas besoin de ressembler aux humains ; quelques bras suffisent pour accomplir proprement les tâches

• Dans quelques années, Home Assistant et les LLM pourront probablement coordonner les tâches ménagères pendant qu’on est dehors. Un LLM pourra dresser l’inventaire des objets de la maison, puis envoyer l’aspirateur et le robot ranger
  Un LLM multimodal pourra analyser des photos pour distinguer ce qui doit aller au lave-vaisselle ou dans la machine à laver de ce qui doit être poli, et pourra aussi ranger les placards, faire le lit et s’occuper des plantes. Il suffira de le faire travailler toute la journée pendant que les panneaux solaires fournissent l’énergie

• Je m’occupe des tâches ménagères à plein temps et je veux vraiment ce robot. Je déteste plier le linge et je repousse toujours cette corvée ; même sans fonction pour le mettre dans la machine à laver, il me suffirait qu’il le plie