- Il s’agit du premier modèle de navigation incarnée 8B de Mistral, conçu pour permettre à un robot de se déplacer dans des environnements complexes avec une seule caméra RGB et des instructions en langage naturel
- Sur le benchmark R2R-CE validation unseen, il atteint un taux de réussite de 76,6 %, surpassant non seulement les approches à caméra unique mais aussi les meilleurs systèmes fondés sur la profondeur ou plusieurs caméras
- Il utilise une approche par pointing qui prédit les coordonnées de l’image de la cible à l’écran ainsi que l’orientation à adopter à l’arrivée ; lorsque la cible est hors champ, cela est remplacé par des commandes de déplacement dans le repère local du robot
- Le modèle a été construit en interne sans dépendre de VLM open source existants, et entraîné sur environ 400 000 trajectoires et 6 000 scènes générées en simulation
- Grâce au prefix-caching, il réduit de 22 fois le nombre de tokens d’entraînement, puis améliore encore le taux de réussite de 3,2 % avec l’apprentissage par renforcement en ligne CISPO
Navigation robotique fondée sur une seule caméra
- Robostral Navigate est le premier modèle de navigation incarnée de Mistral, conçu pour permettre à un robot de se déplacer dans son environnement à partir d’images RGB et d’instructions en langage naturel
- Un exemple d’instruction serait : « sors du hall, traverse le couloir, entre dans la réserve, puis arrête-toi en regardant la deuxième étagère »
- Contrairement aux approches qui combinent capteur de profondeur, LiDAR et plusieurs caméras, ce modèle n’utilise qu’une simple caméra RGB
- R2R-CE (Room-to-Room in Continuous Environments) validation unseen est un benchmark qui mesure la capacité à suivre des instructions dans des environnements non vus pendant l’entraînement
- Robostral Navigate y enregistre un taux de réussite de 76,6 %
- soit 9,7 points de plus que la meilleure approche à caméra unique
- et 4,5 points de plus que les meilleurs systèmes utilisant la profondeur ou plusieurs caméras
Performances sur benchmark et compatibilité robotique
- Ce modèle est conçu pour permettre à des robots de se déplacer de manière autonome dans des espaces complexes comme des bureaux, des bâtiments résidentiels ou commerciaux, et des environnements extérieurs
- Avec une seule instruction, il peut exécuter de façon autonome une tâche complète dans un espace réel avec des personnes et des obstacles
- Ses principales performances et conditions de fonctionnement sont les suivantes
- performance de pointe sur R2R-CE
- taux de réussite de 79,4 % sur validation seen
- taux de réussite de 76,6 % sur validation unseen
- fonctionnement avec une seule caméra RGB, sans LiDAR ni capteur de profondeur
- modèle 8B développé en interne, avec un entraînement entièrement fondé sur la simulation
- fonctionnement sur des robots roulants, marcheurs et volants, avec généralisation à des tailles de robots différentes
- robustesse aux variations des paramètres intrinsèques de la caméra
- utilisation d’un entraînement efficace en tokens via le prefix-caching
Déplacement fondé sur le pointing
- Robostral Navigate prédit, à partir de l’historique des tâches et des observations, la prochaine position vers laquelle le robot doit se déplacer via une approche de pointing
- La prédiction porte sur les coordonnées dans l’image correspondant à la position cible dans la vue actuelle de la caméra, ainsi que sur l’orientation requise à l’arrivée
- Contrairement à des commandes fondées sur un déplacement métrique, le pointing est naturellement plus robuste aux variations des paramètres intrinsèques de la caméra et de l’échelle du monde réel
- Lorsque la cible se trouve hors du champ de vision actuel, le pointing seul devient difficile à utiliser
- dans ce cas, il est remplacé par une commande de déplacement dans le repère local du robot
- par exemple : « avance de 2 mètres, déplace-toi de 1,5 mètre vers la gauche, puis tourne de 25 degrés à gauche »
Modèle construit en interne et données de simulation
- Robostral Navigate a été entièrement construit en interne, sans dépendre de VLM open source existants
- Pour l’initialisation, Mistral utilise un modèle vision-langage spécialisé dans des tâches de grounding comme le pointing, le comptage et la localisation d’objets
- La navigation consiste à apprendre comment se déplacer après avoir compris où se trouvent les objets, ce qui constitue une extension de ces capacités de grounding
- Toute la pipeline de génération de données a été construite en simulation
- ce qui a permis d’itérer rapidement sur l’amélioration des données
- le jeu de données final comprend environ 400 000 trajectoires et 6 000 scènes
Entraînement efficace et apprentissage par renforcement en ligne
- L’élément clé de l’apprentissage supervisé est un algorithme d’entraînement efficace fondé sur le prefix-caching
- Une stratégie de masquage d’attention fondée sur un arbre compresse tout l’épisode en une seule séquence
- ce qui permet d’entraîner tous les time steps en un seul forward pass
- tout en empêchant les fuites d’information entre les time steps
- Par rapport à un entraînement utilisant un échantillon par time step, cela réduit de 22 fois le nombre de tokens d’entraînement tout en conservant le signal d’apprentissage
- En pratique, cela transforme un entraînement qui aurait pris plusieurs mois en une exécution terminée en quelques jours
- Après l’apprentissage supervisé, les performances sont encore améliorées avec l’algorithme d’apprentissage par renforcement en ligne CISPO
- il permet au modèle d’apprendre par essais et erreurs, de se remettre d’un échec et d’acquérir des comportements d’exploration
- il atténue le problème de distribution shift propre au behavior cloning classique
- cette seule étape améliore le taux de réussite de 3,2 %
- aucun plateau n’est encore visible, ce qui laisse penser que davantage d’entraînement et d’expérimentations pourrait encore faire progresser ce chiffre
Prochaine étape vers un agent incarné unifié
- Robostral Navigate constitue une première étape vers un agent incarné unifié
- Mistral considère la navigation comme une capacité de base pour la robotique généraliste
- L’entreprise montre qu’en combinant simulation à grande échelle, entraînement efficace et fort prior de grounding, il est possible d’atteindre une navigation incarnée de pointe avec un modèle compact et une seule caméra RGB
- Mistral agrandit actuellement son équipe robotique et recrute des chercheurs et des ingénieurs
1 commentaires
Commentaires sur Hacker News
Ils disent « état de l’art sur R2R-CE », mais il faut préciser que R2R-CE est un benchmark construit dans un environnement de simulation
Battre ce benchmark a à peu près la même portée que rendre un robot très bon à Minecraft ou à un autre jeu vidéo. C’est sympa, mais un robot doit fonctionner dans la réalité physique, pas dans un environnement numérique
Évaluer les performances d’un système robotique dans le monde réel est très difficile. Quand les performances sont mauvaises, il faut même souvent beaucoup de robots de rechange rien que pour terminer l’évaluation
L’article contient aussi l’inévitable vidéo de démo où un robot physique se déplace en accéléré x2 dans un environnement fait de sols lisses et de bureaux presque vides. C’est devenu une scène emblématique du domaine, et à la fin, le passage de trois personnes qui traversent prudemment la trajectoire du robot retire plutôt des points
Mais cela rappelle l’emballement autour d’Aloha il y a quelques années. C’est très bien pour faire racheter une équipe par une grande entreprise tech ou obtenir des fonds pour pousser plus loin une technologie élégante, mais ce n’est pas encore un progrès concret vers des robots domestiques / majordomes capables de se déplacer dans une maison ou un bureau
D’après ce que ça laisse entendre, et j’espère que c’est bien le cas, il s’agit d’une navigation sans carte. Si oui, c’est impressionnant
Avec une carte de l’environnement capturée à l’avance, ce genre de tâche devient beaucoup plus facile. Mais le faire sans carte serait remarquable
Il y avait autrefois toujours le problème du « robot kidnappé », où un robot incapable de se localiser ne pouvait plus avancer du tout. Ici, le robot semble exécuter les consignes tant qu’elles sont interprétables depuis son champ de vision actuel, ou qu’il peut les suivre par navigation à l’estime
Si on lui dit « trouve l’ascenseur à cet étage », pourrait-il se déplacer, construire une carte et agir comme une personne qui cherche un ascenseur ?
Les modèles de navigation actuels supposent que la personne qui rédige l’instruction connaît très bien des repères visuels utiles pour se déplacer, ce qui n’est pas réaliste dans la plupart des cas d’usage
Je me demande quelle serait une voie réaliste pour pouvoir réellement essayer ça. J’aimerais le brancher à OpenClaw pour des expériences de loisir
Mon rêve serait d’intégrer OpenClaw dans un robot agricole. Prendre une tondeuse RC à chenilles pour mauvaises herbes sur fortes pentes, la modifier, puis lui confier des tâches du genre : « longe la clôture en prenant des photos des plantes, repère le sumac vénéneux et le chèvrefeuille invasif, pulvérise-les avec un pulvérisateur de Roundup, répète chaque semaine, rends compte de la carte de répartition des espèces, puis retourne à la grange te recharger quand la batterie est faible »
Mettre OpenClaw dans un châssis robotique n’est pas difficile. Il y a plein de vidéos de ce genre sur YouTube. Mais quand on regarde ce que les gens construisent réellement, la mobilité est toujours la partie la plus rudimentaire, et ça a aussi été le cas dans mes essais
Un modèle 8B comme celui-ci semble idéal pour résoudre les problèmes de planification de trajectoire et de navigation
Si quelqu’un connaît mieux Mistral ou des entreprises du même genre, je me demande s’ils s’intéressent aussi à ce type d’expérimentations de makers. Ou bien cherchent-ils surtout des partenaires commerciaux ? Je serais prêt à payer une licence pour expérimenter, mais en tant qu’individu seul, ils ne voudront peut-être pas coopérer tant qu’il n’y a pas de perspective commerciale
Cela dit, Robostral Navigate est conçu pour être indépendant du matériel et pouvoir se brancher sur n’importe quelle plateforme robotique, et comme il ne nécessite qu’une seule caméra RGB au lieu de LiDAR ou de capteurs de profondeur, il convient en théorie assez bien à du matériel de loisir
Il n’existe pas encore de licence publique hobby / non commerciale ni de release open source, et aucun tarif personnel ni palier de licence n’a encore été annoncé. Ce qu’on peut faire pour l’instant, c’est contacter directement Mistral AI en demandant clairement : « Je suis un maker qui veut faire des expériences personnelles avec OpenClaw + Robostral Navigate ; j’aimerais discuter d’une licence non commerciale »
Cela vaut aussi le coup de surveiller le Discord ou le forum de Mistral, et s’il n’y a pas de réponse, on peut attendre qu’un projet open source de robotique comme ROS ou Habitat finisse par proposer des capacités comparables
Ça n’a pas l’air d’être un modèle public, mais si ça le devenait, cela permettrait d’utiliser facilement la navigation monoculaire, ce qui ouvrirait la voie à beaucoup de super projets de robots amateurs
Très impressionnant. Félicitations à l’équipe de Mistral. La navigation sans carte en extérieur existe depuis assez longtemps, mais en intérieur, elle reste relativement récente
Des chercheurs de Stanford ont déjà entraîné un modèle visuel, PIGEON, capable de deviner la position géographique à partir d’images arbitraires. Le potentiel d’abus pour la vie privée, notamment pour le stalking, était tellement élevé qu’il n’a pas été publié, mais j’ai l’impression qu’il y a un type de technologie similaire derrière ce robot. Si quelqu’un en sait plus, qu’il n’hésite pas à me corriger
Lien vers l’article de PIGEON : https://lukashaas.github.io/PIGEON-CVPR24/
Mistral semble viser large tout en attaquant des niches. Cela pourrait être une stratégie intelligente pour la suite
C’est très minimaliste, ce qui est impressionnant.
En même temps, ça me rappelle les vidéos de démonstration de robots que publiaient les chercheurs du monde académique et Willow Garage vers 2010.
Le problème de la robotique, c’est qu’il est facile de produire des démos qui ont l’air convaincantes, mais vraiment très difficile de faire en sorte que ça fonctionne correctement dans le cas général. La conduite autonome en est un bon exemple.
Je suis prêt à attendre un robot domestique d’assistance qui prépare le dîner, fait la vaisselle et sort les poubelles.
Cela dit, ce qui me fait peur, c’est le moment où ce genre d’assistants sera mobilisé pour la guerre, que ce soit pour moi ou contre moi.
Notre vitesse d’échantillonnage sensoriel et la vitesse d’inférence de notre intelligence dépassent de plusieurs ordres de grandeur celles des meilleurs robots actuels. Pour l’instant, l’être humain est bien plus raffiné et compétent.
J’espère qu’on pourra avoir des dispositifs suffisamment légers, mais vu les contraintes de poids des batteries, je vois mal comment ce serait possible.
Ils disent avoir atteint 76,6 % sur « R2R-CE (Room-to-Room in Continuous Environments) », mais j’aimerais bien savoir ce qui s’est passé pendant les 23,4 % restants.
Si on regarde les erreurs de navigation sur la page avec les graphiques de résultats, on obtient l’indicateur le plus pertinent pour cette question. Le modèle excelle à « ne pas partir dans la mauvaise direction », donc son taux d’échec vient probablement de cas où il n’a pas réussi à trouver son chemin.
C’est vraiment génial. Le fait que le robot puisse utiliser la direction pointée du doigt pour décider où aller est un excellent choix de conception, et la robotique est vraiment la prochaine frontière. Ça me donne clairement envie de soutenir Mistral.