RoboCat - agent robotique auto-améliorant

• Google DeepMind a présenté RoboCat, qui apprend par lui-même en effectuant diverses tâches avec un bras robotique.
• Il s’appuie sur Gato (qui signifie « chat » en espagnol), un modèle multimodal capable de fonctionner à la fois dans des environnements réels et simulés.
  • Pour s’auto-améliorer, il commence par collecter des données réelles sur une nouvelle tâche.
  • À partir de ces données réelles, il affine le modèle de base pour créer un agent dérivé.
  • Le nouvel agent s’entraîne environ 10000 fois pour constituer un jeu de données d’entraînement.
  • Les données réelles et les données auto-générées sont intégrées au jeu de données d’entraînement de RoboCat.
  • Entraînement de la nouvelle version de RoboCat.
• Cela lui permet de s’adapter en quelques heures à de nouveaux bras robotiques ayant davantage d’articulations ou plus de pinces.
• Cela crée aussi un cercle vertueux d’apprentissage : le modèle initial, qui affichait un taux de réussite de 36 % sur certaines tâches, a plus que doublé pour atteindre 74 %.

[nicewook]

Enfin, l’IA rencontre le monde réel et ouvre la voie à l’expérimentation concrète.

[kuroneko]

• Article
• Fil HN

Les commentaires du fil HN sont vraiment très drôles.
J’ai eu exactement la même pensée : Suis-je le seul à avoir espéré un chat robot ? C’est un peu décevant...

J’aimerais bien qu’ils mettent au moins un autocollant de chat sur le bras robotique.

[kuroneko]

En résumant l’article, on obtient ceci.

RoboCat est un agent auto-amélioré pour la manipulation robotique. Il est entraîné sur un jeu de données vaste et diversifié de tâches robotiques, à partir de multiples simulations et de bras robotiques réels.

Les principaux objectifs de RoboCat sont les suivants.

1. Généraliser à de nouvelles tâches et à de nouveaux robots avec un minimum de données. RoboCat peut s’adapter à de nouvelles tâches et à de nouveaux robots en n’utilisant que 100 à 1 000 exemples de démonstration.
2. S’auto-améliorer grâce à un processus itératif. Le modèle RoboCat affiné est utilisé pour générer davantage de données d’entraînement, qui sont ensuite ajoutées au jeu d’entraînement afin d’améliorer l’agent généraliste.
3. Gérer plusieurs implémentations avec des tâches et des espaces d’observation différents. RoboCat est testé sur des bras allant jusqu’à 14 degrés de liberté et équipés de pinces différentes.
4. Résoudre diverses tâches de manipulation agile à l’aide d’objets de formes, tailles et textures variées. Ces tâches comprennent notamment l’empilement, l’insertion et le levage.

Les principaux résultats sont les suivants.

• À mesure que les données d’entraînement de RoboCat augmentent et se diversifient, le transfert entre tâches s’améliore et l’adaptation à de nouvelles tâches devient plus efficace.
• RoboCat peut s’adapter avec succès à de nouvelles tâches et à de nouveaux robots en utilisant seulement une petite quantité de données de démonstration, tout en demandant moins d’efforts d’apprentissage que les baselines.
• En élargissant les données d’entraînement grâce à l’auto-amélioration, RoboCat obtient de meilleures performances sur les tâches d’entraînement d’origine et bénéficie d’un affinement supplémentaire.

En résumé, RoboCat, un agent auto-amélioré pour la manipulation robotique entraîné sur un jeu de données vaste et diversifié, montre qu’il peut généraliser à de nouvelles tâches et à de nouveaux robots avec un minimum de données grâce au fine-tuning et à l’auto-amélioration. Sa capacité à exploiter à grande échelle des expériences robotiques hétérogènes pourrait transformer l’apprentissage robotique.