Disney insuffle une grande émotion à un petit robot
(spectrum.ieee.org)- Disney Research a présenté à l’IROS 2023 un nouveau personnage robot de taille enfant, montrant que même un petit robot bipède peut transmettre des émotions et une personnalité par sa seule manière de marcher
- L’élément clé est un pipeline basé sur l’apprentissage par renforcement qui relie l’intention des animateurs aux contraintes du matériel robotique, afin d’exécuter de façon stable des mouvements expressifs dans des environnements réels
- Le robot est constitué d’un matériel modulaire en grande partie imprimé en 3D, avec une tête à 4 degrés de liberté et des jambes à 5 degrés de liberté, et moins d’un an a suffi pour passer du concept à une forme démontrable
- La simulation entraîne le robot en faisant varier des paramètres comme les performances des moteurs, la répartition des masses et le frottement au sol, afin qu’il conserve l’expression du personnage même pendant des mouvements de récupération
- Disney considère cette approche moins comme un robot précis que comme un processus indépendant du matériel, qu’elle veut étendre à davantage de personnages robotiques physiques et à des mouvements plus rapides et plus dynamiques
Nouveau personnage robot présenté à l’IROS 2023
- L’équipe de Disney Research a dévoilé un nouveau personnage robot lors de la keynote du soir de la 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems, organisée à Detroit
- Il s’agit d’un robot de taille enfant doté d’une tête expressive, de deux antennes oscillantes et de jambes courtes
- Ce qui le distingue des autres petits robots bipèdes n’est pas seulement sa capacité à marcher, mais le fait que sa façon de marcher porte des émotions, au point de lui donner l’allure d’un personnage vivant
- Disney a de l’expérience dans la mise en mouvement émotionnelle des robots, depuis les animatroniques du Hall of Presidents à Disney World en 1971
- À mesure que la mobilité du robot augmente, il devient aussi plus difficile de concevoir des comportements émotionnels dans les limites imposées par le matériel réel
Un pipeline qui relie l’intention d’animation aux contraintes physiques
- Depuis un an, Disney Research développe un système utilisant l’apprentissage par renforcement pour transformer la vision des animateurs en mouvements robotiques réels
- L’objectif est de créer des mouvements expressifs suffisamment robustes pour fonctionner dans des environnements variés comme une scène, un parc à thème Disney ou une forêt suisse
- Les outils d’animation classiques n’intègrent pas la physique, ce qui complique la tâche des artistes lorsqu’ils doivent concevoir des animations réalisables dans le monde réel
- Le nouveau pipeline combine et équilibre, via la simulation, l’intention des animateurs et la stabilité du mouvement robotique
- Les animateurs peuvent ainsi laisser au système la mise en œuvre des contraintes du monde physique et se concentrer autant que possible sur l’expressivité du mouvement
Matériel robotique et méthode de développement
- Ce robot a été développé par une équipe dirigée par Moritz Bächer chez Disney Research à Zurich
- Le matériel a été en grande partie imprimé en 3D, et sa structure modulaire ainsi que ses actionneurs ont permis d’accélérer la conception et les itérations
- Il a fallu moins d’un an pour passer du concept à la version visible dans la vidéo
- La tête dispose de 4 degrés de liberté, permettant de regarder vers le haut et le bas, autour de soi et de s’incliner
- Les jambes disposent de 5 degrés de liberté, y compris au niveau de l’articulation de la hanche, ce qui lui permet de marcher en maintenant un équilibre dynamique
Plus important que marcher : la manière de marcher
- L’objectif de Disney ne se limite pas à faire marcher un robot bipède de façon stable
- Pour transmettre des émotions, le robot doit pouvoir adopter différents styles de marche, comme une démarche fière, bondissante, furtive, rapide ou détendue
- Le projet réunit des animateurs, qui transmettent les émotions du personnage par le mouvement, et des roboticiens, qui construisent les systèmes mécaniques
- Comme il faut préserver l’intention artistique tout en évitant la chute du robot, la collaboration entre ces deux domaines demande de nombreux essais et ajustements
- Dans le système d’apprentissage par renforcement, l’entrée importante n’est pas seulement le fait de marcher, mais aussi la manière de marcher
La robustesse apportée par l’apprentissage par renforcement
- Le pipeline de Disney peut entraîner de nouveaux comportements sur un seul PC et exécuter en quelques heures l’équivalent de plusieurs années d’apprentissage
- Selon Moritz Bächer, cette méthode réduit le temps nécessaire à Disney pour développer de nouveaux personnages robots, le faisant passer de plusieurs années à quelques mois
- L’un des grands avantages de l’apprentissage par renforcement est que les mouvements obtenus peuvent être extrêmement robustes
- Le système réapprend les mouvements en modifiant légèrement les éléments suivants :
- les performances des moteurs
- la répartition des masses
- le frottement entre le robot et le sol
- Le robot doit conserver son expressivité tout en réagissant aux situations rencontrées dans le monde réel, ce qui est essentiel pour préserver son identité de personnage
- Avec les techniques classiques, il faut programmer manuellement les points de transition, mais en perturbant simultanément le mouvement et l’animation dans la simulation, le robot peut trouver lui-même ces points
- Cette méthode fait émerger des stratégies de récupération que l’équipe aurait eu du mal à programmer directement
Des robots qui communiquent émotion et intention au contact des humains
- Les robots sociaux existent depuis des décennies, et les robots susceptibles de passer du temps près des humains intègrent généralement au moins certaines fonctions d’interaction humain-robot
- Dans les robots conçus avant tout pour leur fonction, l’interaction humain-robot est souvent ajoutée après coup
- Le robot de Disney montre qu’il est possible de transmettre beaucoup d’informations par le personnage sans sacrifier la fonctionnalité
- Dans des situations où humains et robots se trouvent à proximité, transmettre l’émotion et l’intention peut devenir une fonction importante
- Cette approche pourrait aussi avoir de la valeur dans d’autres applications où des personnes travaillent aux côtés de robots
Un processus indépendant du matériel, plus important qu’un robot précis
- Le cœur de ce travail réside davantage dans le processus que dans le robot lui-même
- Selon Bächer, cette plateforme est indépendante du matériel
- La même approche peut s’appliquer à l’ajout de davantage de jambes, de bras, ou à la création de personnages d’une forme complètement différente
- Des actionneurs du commerce, des pièces imprimées en 3D et un framework adaptatif d’apprentissage par renforcement peuvent s’appliquer à des robots dont l’apparence et les mouvements diffèrent fortement
- La prochaine étape pour Disney consiste à développer davantage de personnages robotiques physiques avec cette technologie et à repousser les limites de mouvements plus rapides et plus dynamiques
- Ce robot n’a pas encore de nom officiel, et Disney n’est pas encore prête à dire où il sera possible de le voir
1 commentaires
Avis sur Hacker News
J’ai travaillé chez Disney Research, et c’est un bon exemple du type de problèmes qu’on y traite.
Les contraintes sont complètement différentes de celles de l’ingénierie grand public classique. Le cadre créatif est à la fois le défi et la porte de sortie.
Les parties qui semblent impossibles peuvent être résolues par des illusions visuelles ou des astuces artistiques, tandis que la technologie permet d’explorer des problèmes très intéressants propres à une application. La partie bien plus difficile consiste à rendre ces recherches suffisamment robustes et attrayantes pour être présentées dans un véritable parc à thème.
J’ajouterais que Disney Research n’est pas la même chose que Imagineering. Research s’occupe de toutes sortes de problèmes, pas seulement de ceux des parcs à thème.
J’ai passé près de 10 ans chez Disney, et je ne pense pas qu’il existe meilleur endroit pour apprendre comment l’ingénierie doit servir l’expérience utilisateur. Disney fait cela vraiment très bien. Apple s’en rapproche peut-être, mais je n’en suis pas sûr.
https://la.disneyresearch.com/publication/autoconnect/
Bien sûr, la solution la plus simple a été de coller des yeux mobiles dessus. Ma fille y a aussi dessiné un petit cœur et lui a donné un nom, sans raison particulière, juste pour s’amuser.
Disney a présenté à l’Exposition universelle de 1964 un Lincoln animatronique qui a stupéfié tout le monde.
https://en.wikipedia.org/wiki/Great_Moments_with_Mr._Lincoln
Curieusement, We Can Build You de Philip K. Dick, qui met en scène un simulacre humain de Lincoln, a été écrit en 1962, quelques années avant le Lincoln de Disney.
L’impact émotionnel de ce Lincoln reposait sur la voix de Royal Dano, qui travaillait sous la direction de Disney.
https://en.wikipedia.org/wiki/Royal_Dano
Ce genre de système est un bon exemple de la façon dont il suffit de réussir vraiment quelques éléments et de rendre le reste suffisamment crédible pour que l’ensemble fonctionne.
Avec l’intérêt récent pour les grands modèles de langage, j’ai pensé à des idées comme les animaux de compagnie robotiques.
Les grands modèles de langage semblent capables de comprendre le langage humain et les images au niveau requis pour un animal de compagnie. Si un chien robot capable non seulement d’exprimer des émotions, mais aussi de comprendre ce qu’on lui dit, était correctement conçu, je pense que ce serait un beau succès.
Il n’a pas besoin de tout comprendre parfaitement. Une compréhension visuelle et linguistique du niveau de GPT-4 suffirait. Il n’a pas besoin de tenir de longues conversations ; il lui suffit de réagir comme s’il était heureux ou triste quand la situation s’y prête.
Des technologies grand public comme la cartographie LiDAR de l’iPhone ou le scan d’intérieur du Meta Quest s’en rapprochent, mais il reste beaucoup de points à relier pour des robots intrinsèquement bien moins stables qu’un Roomba.
Au début, je pense qu’on verra ces petits robots interagir avec les visiteurs dans des zones clôturées des parcs Disney, ou sur de petites scènes très proprement entretenues par le personnel. Une forme qui n’a pas encore besoin de gérer toute la complexité du monde réel.
Les animaux de compagnie connaissent toutes nos habitudes et détectent nos émotions avant même que nous nous en rendions compte.
Quelle serait la taille totale du marché pour des droïdes de compagnie électroniques sous marque Disney/Star Wars ? En voyant des enfants promener en laisse des robots dotés d’une telle « personnalité », cela m’a semblé être un cas d’usage évident.
Il n’a pas besoin d’être extrêmement bon marché, tant qu’il coûte moins cher que l’achat et l’entretien d’un chien. Mais il doit être aussi adorable que ce robot.
Je ne pense pas que le marché cible sera jamais le même que celui des vrais animaux de compagnie. Peut-être pourrait-on toutefois présenter cette différence comme un avantage.
Si Disney peut mettre dans ce genre de robot assez de matériel pour y faire tourner un modèle de langage, il peut s’emparer d’un marché de plusieurs milliers de milliards.
Je pense qu’on pourrait entraîner un modèle de moins d’un milliard de paramètres qui soit mignon et interactif.
Si la bande passante sans fil est suffisante, il n’y a aucune raison pour que le cerveau doive se trouver dans le corps.
Le Disney d’autrefois aurait fabriqué quatre de ces robots et les aurait simplement laissés se promener dans Future World à EPCOT pour créer l’ambiance. Le Disney actuel les utiliserait probablement pour une expérience Star Wars. Mais ce serait quand même agréable à voir.
Le talon d’Achille des robots mobiles autonomes, c’est la densité de stockage de l’énergie.
Je me demande vraiment si le marché du jouet se compte en milliers de milliards.
Disney Imagineering — je ne sais pas si on les appelle encore comme ça — m’a toujours semblé fascinant au sein d’une entreprise comme Disney.
Quand on y réfléchit, son existence au sein de Disney paraît presque illogique, et en même temps elle est essentielle à ce qui fait que Disney est Disney.
Chaque fois qu’ils publient une vidéo de recherche, c’est toujours intéressant. Je me souviens aussi de celle sur la simulation de la neige dans Frozen.
Vu de l’extérieur, ça a l’air d’être un endroit vraiment passionnant où travailler, avec des priorités singulières. Parce qu’il ne s’agit pas de sortir des produits grand public ou de nouveaux projets d’entreprise, mais de soutenir un autre objectif narratif.
Au milieu de la vidéo, je me suis dit que c’était forcément de la CGI, peut-être parce que je ne suis pas encore habitué à voir ce genre de robots au quotidien.
Au passage, ce robot est vraiment adorable et j’en veux un.
Sur l’exercice 2022, Disney a dégagé 12,7 milliards de dollars de bénéfice d’exploitation, dont 7,9 milliards de dollars provenaient des parcs à thème. Soit 65 %.
Tout le reste de Disney — les films Pixar, les films Disney, les films Star Wars, la télévision, le streaming, les comédies musicales en tournée, les produits dérivés, les partenariats et les licences de propriété intellectuelle — représente les 45 % restants.
La robotique est indispensable aux parcs à thème.
La « magie » au sens littéral, c’est en grande partie « être capable de faire des choses que les autres ne savent pas faire ». D’où l’intérêt de garder cette recherche en interne, afin de prendre de l’avance sur des illusions, des effets et des expériences que personne d’autre ne peut proposer.
La meilleure façon de comprendre Imagineering est d’y voir une usine à magie. En ce sens, pour la branche parcs à thème et spectacles de l’entreprise, cela fait absolument partie du cœur du modèle économique.
Certains CEO récents n’ont pas très bien compris cet aspect et, au cours des quelque cinq dernières années, ont effectivement externalisé une partie de ce qui se faisait auparavant en interne. Si les technologies développées pour Disney par des prestataires tiers se diffusent directement chez les concurrents de Disney, je suis vraiment curieux de voir à quoi ressemblera le paysage des parcs à thème dans la région d’Orlando au cours de la prochaine décennie.
Il est vraiment très attachant.
Ils ont créé le premier long-métrage d’animation, conçu la caméra multiplane pour donner de la profondeur, et collaboré avec Pixar, pionnier de l’animation par ordinateur, avant de l’acquérir.
Si on ignore la tête, ce robot ressemble beaucoup à ceci : https://en.wikipedia.org/wiki/Walker_(Star_Wars)#All_Terrain...
Retenez bien ce que je dis. La création de comportements sera le prompt engineering du futur, et il n’y aura pas de retour en arrière.
Les plateformes robotiques n’ont plus, au maximum, que quelques itérations devant elles.
Je me demande si quelqu’un se souvient des petits robots ouvriers du film Silent Running, sorti en 1972.
https://www.imdb.com/title/tt0067756/?ref_=fn_al_tt_1
Je ne sais pas pourquoi je m’étais attaché émotionnellement à eux. Ils n’avaient même pas de moyen visible d’exprimer des émotions. Ils faisaient simplement leur travail, calmement et consciencieusement.
Et pourtant, ils touchaient quelque chose d’étrange, et leur destruction vers la fin du film était assez déchirante.
Le film a été réalisé par Douglas Trumbull, également célèbre pour sa contribution aux effets spéciaux.
https://en.wikipedia.org/wiki/Douglas_Trumbull
Je ne sais pas pourquoi, mais ça me dérange que ce robot n’ait pas de nom, ou que l’article ne le mentionne pas.