L’institut de recherche de Toyota affirme avoir réalisé une percée pour enseigner de nouveaux comportements aux robots

• Toyota Research Institute (TRI) a annoncé une percée pour enseigner de nouvelles compétences aux robots en utilisant une approche d’IA générative fondée sur la Diffusion Policy.
• Cette nouvelle approche améliore considérablement l’utilité des robots et représente une étape supplémentaire vers la création, pour les robots, de « Large Behavior Models (LBMs) » similaires aux Large Language Models (LLMs) qui ont révolutionné l’IA conversationnelle.
• Cette nouvelle technique d’entraînement est efficace et génère des comportements hautement performants, permettant aux robots d’aider les humains plus efficacement.
• Les techniques précédentes d’entraînement des robots étaient lentes, incohérentes et inefficaces, et se limitaient pour la plupart à des tâches restreintes réalisées dans des environnements très limités.
• Grâce à cette nouvelle approche, TRI a enseigné aux robots plus de 60 compétences difficiles et nécessitant de la dextérité, comme verser des liquides, utiliser des outils et manipuler des objets déformables.
• TRI vise à enseigner des centaines de nouvelles compétences d’ici la fin de cette année, puis 1 000 d’ici la fin de 2024.
• Les robots de TRI peuvent désormais interagir avec le monde de manière variée et riche, ce qui pourrait un jour leur permettre d’aider les humains dans des situations quotidiennes ainsi que dans des environnements imprévisibles, en perpétuelle évolution.
• Le modèle comportemental robotique de TRI combine les démonstrations tactiles d’un instructeur avec une description en langage naturel de l’objectif, puis utilise une Diffusion Policy pilotée par l’IA pour apprendre la compétence démontrée.
• TRI a développé la Diffusion Policy en collaboration avec le groupe du professeur Song à Columbia University ; il s’agit d’une puissante approche d’IA générative appliquée à l’apprentissage des comportements.
• La plateforme robotique de TRI a été conçue sur mesure pour les tâches de manipulation dexterique à deux bras, avec retour haptique et perception tactile.
• TRI utilise Drake, une approche de conception fondée sur des modèles pour la conception robotique, qui fournit une boîte à outils de pointe et une plateforme de simulation permettant d’étendre et d’accélérer davantage le développement en simulation comme dans le monde réel.
• La sécurité est au cœur des efforts de développement robotique de TRI, et le système comprend de solides garde-fous conçus pour respecter des garanties de sécurité, comme empêcher le robot d’entrer en collision avec lui-même ou avec son environnement.
• Des informations plus techniques sur cette percée de TRI sont disponibles sur le blog Medium de TRI, et le sujet sera discuté lors d’une session de questions-réponses LinkedIn Live le 4 octobre.

[GN⁺]

Commentaires sur Hacker News

• Toyota Research Institute (TRI) est salué pour avoir réalisé une avancée dans l’apprentissage de nouveaux comportements aux robots.
• Cette avancée repose en grande partie sur la Diffusion Policy, développée dans le laboratoire de la professeure Shuran Song à l’université Columbia, aujourd’hui basée à l’université Stanford.
• Diffusion Policy a suscité un fort engouement dans la communauté, au point d’être pressentie pour le prix du meilleur article à la conférence R:SS cette année.
• La professeure Song est reconnue comme une figure de proue de la robotique, avec plusieurs approches capables de passer à l’échelle pour des applications dans le monde réel.
• Le cours en ligne de Russ Tedrake, Underactuated Robotics, est recommandé pour comprendre la complexité de la robotique.
• Google mène également un projet similaire centré sur le retour de force et les capteurs de pression.
• La vidéo du robot de Toyota Research retournant des crêpes, montrant un apprentissage par démonstration, est jugée impressionnante.
• Certains utilisateurs comparent le travail de TRI au projet PaLM-E de Google, ce qui illustre à quel point la robotique traverse une période passionnante.
• Des robots humanoïdes à usage général pourraient être rendus possibles en combinant la technologie de motion capture et des algorithmes de machine learning.
• Certains utilisateurs s’interrogent sur la faisabilité d’occuper simultanément deux postes à plein temps, comme dans le cas d’un professeur du MIT également vice-président chez TRI.
• Des inquiétudes existent quant aux risques potentiels de l’usage de la gen-AI en robotique, des mouvements imprévus pouvant provoquer des dégâts ou des blessures.