- Google DeepMind a dévoilé la famille de modèles Gemini Robotics 2, qui convertit les entrées visuelles et linguistiques en actions pour contrôler les humanoïdes des pieds jusqu’au bout des doigts, et prend en charge les manipulations fines ainsi que la collaboration entre robots
- Cette famille comprend Gemini Robotics 2, un VLA pour le contrôle du corps entier, Gemini Robotics ER 2, qui planifie et supervise les tâches longues, et Gemini Robotics On-Device 2, exécuté localement sur les robots
- Les humanoïdes peuvent enchaîner marche, flexion et transport d’objets, nouer des nœuds ou fermer des sacs zippés avec une main à cinq doigts et 22 degrés de liberté, et plusieurs robots peuvent collaborer sur des tâches difficiles à traiter seuls
- On-Device 2 s’exécute sans connexion réseau et peut généralement être appliqué à un nouveau robot à deux bras dont la forme, les capteurs et les degrés de liberté diffèrent fortement, avec moins de 200 exemples et seulement quelques heures d’adaptation
- ER 2 est disponible en aperçu privé via Google AI Studio et Gemini Enterprise Agent Platform ; les modèles VLA et On-Device sont ouverts aux partenaires en accès anticipé, mais la vitesse de déplacement et la précision doivent encore être améliorées
Trois modèles robotiques aux rôles différents
- Les robots existants reposent surtout sur des séquences de tâches étroites et répétitives préprogrammées, ou sur la téléopération ; il leur est donc difficile de s’adapter seuls à des environnements imprévisibles ou de transférer les compétences d’un robot vers une autre morphologie
- Gemini Robotics 2 est un modèle vision-langage-action (VLA) qui convertit les entrées visuelles et linguistiques en contrôle moteur
- Il contrôle l’ensemble d’un humanoïde ainsi que des robots à deux bras
- Il prend en charge les manipulations fines avec les deux mains et des pinces
- Gemini Robotics ER 2 est un modèle de raisonnement incarné (ER) qui joue le rôle d’agent du robot
- Il communique avec les humains et comprend l’environnement physique
- Il planifie des tâches en plusieurs étapes qui s’étendent sur plusieurs minutes
- Il prend en charge le travail en équipe de plusieurs robots
- Gemini Robotics On-Device 2 est un VLA efficace, optimisé pour s’exécuter localement sur l’appareil robotique
- Il peut s’adapter à une morphologie robotique entièrement nouvelle avec quelques heures de données
- Le périmètre de disponibilité varie selon les modèles
- ER 2 est utilisable dans Google AI Studio et proposé en aperçu privé dans Gemini Enterprise Agent Platform
- Les modèles VLA et On-Device sont proposés aux partenaires en accès anticipé
- Les méthodes d’application au matériel sont disponibles sur le Developer blog
Contrôle du corps entier des humanoïdes, au-delà du haut du corps
- Là où les modèles précédents se concentraient sur le contrôle du haut du corps d’humanoïdes pour des tâches sur table, Gemini Robotics 2 étend le contrôle aux mouvements du corps entier
- Apptronik Apollo 2 peut traiter l’instruction « mettre l’arrosoir dans la boîte verte sur l’étagère du bas »
- Il marche jusqu’à la table et saisit l’arrosoir
- Il se rend jusqu’à l’étagère puis le dépose précisément à l’emplacement indiqué
- Il enchaîne marche, flexion, équilibre et manipulation d’objets pour réaliser des tâches dans des espaces étroits et encombrés, mais la vitesse de déplacement doit encore être améliorée
Manipulations fines avec mains et pinces
- Le modèle contrôle les cinq doigts et les 22 degrés de liberté de la main SharpaWave montée sur Apollo 2
- Il exécute des gestes délicats pour faire un nœud
- Il peut fermer un sac zippé
- Il traite aussi des tâches complexes comme l’emballage serré d’objets avec la pince parallèle standard à deux doigts de Franka Duo
- Pour atteindre une dextérité de niveau humain, la précision et la vitesse doivent continuer à progresser
Raisonnement sur tâches longues et collaboration multirobot
- Gemini Robotics ER 2 agit comme le cerveau de haut niveau du robot, traite les instructions utilisateur et communique avec les humains
- Il observe l’espace et raisonne sur les étapes nécessaires
- Il se coordonne avec le VLA pour effectuer les actions physiques
- Il suit la progression jusqu’à l’achèvement
- Lors de l’exécution de tâches complexes en plusieurs étapes, il peut s’autocorriger si une étape échoue et généraliser à de nouvelles situations et de nouveaux objectifs
- Il prend des centaines de décisions au cours d’une même tâche et gère plus fiablement qu’auparavant des séquences qui durent plusieurs minutes
- Il comprend le début et la fin d’une tâche, et identifie le moment où des événements clés surviennent afin de suivre l’état d’avancement
- Des robots de types différents peuvent communiquer et coopérer pour traiter des workflows complexes qu’un seul robot aurait du mal à accomplir
Adaptation rapide à de nouvelles morphologies robotiques
- Gemini Robotics On-Device 2 s’exécute localement sur l’appareil robotique pour les environnements qui doivent fonctionner sans latence réseau ni connexion Internet
- Il prend en charge de base plusieurs morphologies robotiques et hérite de la technologie de transfert d’actions de Gemini Robotics 1.5
- Il peut généralement être appliqué à un nouveau robot à deux bras avec moins de 200 exemples et seulement quelques heures d’adaptation
- Il s’adapte aussi à des robots dont l’apparence, les capteurs et les degrés de liberté diffèrent fortement, et exécute diverses tâches sur les plateformes Dexmate, SO101 et Trossen
Sécurité robotique tenant compte de l’incertitude
- À mesure que les capacités physiques des robots augmentent, une approche de sécurité multicouche est appliquée, combinant mesures traditionnelles de sécurité physique et frameworks de sécurité IA
- ASIMOV-Agentic est un nouveau benchmark qui évalue l’alignement de sécurité des agents et la gestion de l’incertitude
- Il mesure si un agent de raisonnement incarné peut refuser un appel d’outil dangereux demandé par un VLA
- Il évalue s’il prédit la faisabilité d’une tâche et demande proactivement l’intervention d’un humain en cas d’incertitude
- Gemini Robotics ER 2 affiche les meilleures performances de sécurité parmi les modèles robotiques existants de Google DeepMind sur les benchmarks de respect des contraintes de sécurité et de proximité avec les humains
- Il détecte mieux les personnes à proximité
- Lorsqu’une personne s’approche trop près, il appelle un outil de sécurité et arrête le robot en toute sécurité
- Il s’agit d’une capacité requise par les standards de sécurité collaborative pour travailler avec des humains
- L’évaluation détaillée est disponible dans Gemini Robotics 2: Safety Technical Report
- L’objectif est de bâtir l’intelligence essentielle d’une IA physique généraliste, capable d’aller au-delà de l’automatisation de tâches isolées pour résoudre des problèmes complexes avec les humains
1 commentaires
Avis sur Hacker News
En tant que chercheur DeepMind ayant participé au développement de ce modèle, DeepMind est un excellent endroit où travailler. C’est l’un des rares laboratoires vraiment uniques où l’on peut naviguer entre Gemini·Gemma, la robotique, et presque tous les domaines liés à l’intelligence, comme la météo ou la biologie ; il y a aussi d’excellents collègues, donc cela vaut la peine d’envisager de les rejoindre
Anthropic et OpenAI captent 80 % de l’attention, mais l’étendue de ce que Google réalise — des modèles frontier, rapides et à poids ouverts jusqu’à la génération d’images, de vidéos, de musique et à la robotique — est impressionnante
Les mouvements du robot sont lents et peu fluides, mais les débuts de ChatGPT paraissaient eux aussi très maladroits. Si cela progresse aussi vite que les LLM, le champ d’usage pourrait énormément s’élargir en quelques années
Entre des mouvements robotiques lents et statiques, et des mouvements rapides et souples, la difficulté n’a rien à voir. Pour aller vite, il faut calculer des centaines à des milliers de fois par seconde l’inertie de rotation de multiples articulations et masses, ainsi que les changements d’équilibre. Plier un t-shirt avec 90 % de réussite à l’arrêt est facile, mais atteindre 99 % de réussite ou un pliage rapide est d’une complexité presque incroyable
Il ne faut pas s’attendre à ce qu’il imite tel quel des mouvements d’cinématique inverse comme une poupée numérique. Si l’objectif d’optimisation est de réduire la consommation d’énergie, les mouvements d’un bras électrique multi-articulé peuvent paraître un peu étranges
J’ai renoncé aux attentes envers les robots humanoïdes à cause des limites des actionneurs. Il n’y a presque pas eu d’innovation depuis Honda ASIMO, et je doute que beaucoup de gens veuillent d’une masse métallique vacillante de 80 kg chez eux ou au travail
La révolution robotique finale pourrait utiliser le corps d’humains ou d’animaux génétiquement modifiés dont le cerveau aurait été remplacé. Un ours rendu inconscient, contrôlé par Neuralink et un LLM, serait plus adapté au travail sur chantier ; des animaux rapides pourraient servir à la livraison, et des girafes à l’entrepôt
En voyant des travaux intéressants dans l’impression 3D, je pensais aussi que les actionneurs progressaient beaucoup, donc j’aimerais en savoir plus sur cette idée qu’ils seraient en retard
Il suffit de construire une énorme boîte qui traite une entrée pour produire un résultat, comme un lave-vaisselle. Au lieu d’imiter des mains humaines, il serait bien plus efficace de créer un dispositif de pliage du linge adapté aux lave-linge et sèche-linge, ou une cuisine robotisée intégrée
Il faudrait quelqu’un pour évaluer honnêtement le niveau réel de cette technologie. Je suis curieux des équipements de mesure nécessaires, de la qualité des interactions, et des performances sur des tâches quotidiennes non structurées comme tourner une poignée de porte, se relever après une chute ou éviter les collisions.
On manque aussi de données fiables sur la précision, et des benchmarks comme LIBERO sont presque tous saturés à 95 %, tandis que chaque entreprise ou chercheur utilise sa propre évaluation. Beaucoup d’entreprises truquent leurs démos ou font fonctionner leurs systèmes de façon dangereuse près des humains.
Plus que les poignées de porte ou le relèvement après chute, ce qui est difficile, c’est d’aligner précisément des briques ou des pièces dans un processus de fabrication. Plutôt que des humanoïdes complexes avec beaucoup d’articulations à gérer, des bras robotisés sur roues comme Mobile ALOHA semblent mieux adaptés au rangement des chambres d’hôtel ou à la préparation en restauration où le travail est régulier.
Comme l’affirme https://rodneybrooks.com/why-todays-humanoids-wont-learn-dex..., la dextérité est aussi un problème de hardware, et une pince n’est pas une main. Même la manipulation multi-doigts reste difficile, et les capteurs sont encore insuffisants.
En dehors des cobots, la robotique reste une industrie de niche ; l’exception, ce sont les drones, qui ont un fort potentiel si l’on résout seulement le problème du temps de vol. Les humanoïdes sont encore loin d’être utiles dans des environnements réels, et la plupart des véhicules terrestres sans pilote ne savent même pas reculer dans un escalier.
L’IA robotique est la vraie révolution. Aujourd’hui, les détenteurs de capital ont encore besoin du travail humain pour obtenir davantage de capital, mais si le coût du raisonnement robotique descend sous celui de la main-d’œuvre, le travail humain ne sera plus nécessaire. L’IA affecte aussi le travail non physique, mais une grande partie de la population mondiale travaille dans des métiers manuels.
En tant qu’homme de 47 ans sans enfant, j’espère pouvoir bénéficier d’un robot d’assistance quand je serai vieux.
Beaucoup de tâches ménagères peuvent être automatisées sans humanoïde. Un Roomba peut nettoyer le sol, et on pourrait intégrer dans les logements des systèmes automatiques de gestion des déchets ainsi que d’acheminement, de tri et de rangement des courses.
Les humanoïdes sont dérangeants et difficiles à juger fiables. Je me demande si je pourrais dormir tranquille avec un tel robot chez moi dans une situation où je serais en désaccord avec les opinions politiques de son fabricant.
Je me demande pourquoi, sur une planète finie, on voudrait encore ajouter des corps robotiques à une population humaine qui a longtemps augmenté. Une IA en datacenter, au moins, ne vient pas physiquement rivaliser avec moi épaule contre épaule, mais je ne vois pas pourquoi on voudrait des robots sophistiqués alors qu’il y a déjà des humains.
Utiliser un LLM complet pour piloter un robot est trop lourd ; même avec un GPU puissant, la latence minimale risque d’être de 1 à 2 secondes, ce qui ne convient pas à un robot pratique.
La vision machine devrait être gérée par le machine learning, mais le pilotage moteur devrait rester confié à un contrôle linéaire ou non linéaire classique basé sur PID ; utiliser un LLM complet comme contrôleur semble voué à buter sur les limites du hardware.
Des entreprises comme Physical Intelligence obtiennent aussi de bons résultats avec des architectures hiérarchiques combinant des couches rapides et lentes afin de traiter à la fois l’intelligence et la latence.