- Dans la manipulation robotique, le toucher est utile, mais les capteurs existants étaient difficiles à fixer et peu réutilisables ; AnySkin réduit ce problème avec un capteur de type peau facile à installer et à remplacer sur l’effecteur terminal
- En séparant l’électronique de détection et la surface, il devient possible de ne remplacer que la peau endommagée, et le processus d’intégration est simplifié au niveau d’enfiler une coque de téléphone et de brancher un chargeur
- Une surface souple contenant des particules de fer magnétiques produit lors du contact une distorsion du champ magnétique, mesurée par 5 magnétomètres via la densité de flux magnétique sur 3 axes
- Une politique de clonage comportemental (Behavior Cloning) conserve son taux de réussite après remplacement de la peau sur les tâches Card Swiping, Plug Insertion et USB Insertion, montrant un potentiel de généralisation entre instances de capteur
- Un modèle de détection de glissement LSTM entraîné sur des données de 30 objets du quotidien a prédit les slip events avec une précision de 92 %, et l’article, le code, les fichiers CAD et l’outil de conception ont été publiés
Conception d’un capteur tactile plug-and-play
- AnySkin est un capteur de peau tactile pour robots, conçu pour être plus facile à fixer et à utiliser dans des contextes où la détection tactile est moins employée que la vision ou la proprioception
- Les limites des capteurs tactiles existants résident dans le manque de polyvalence, de remplaçabilité et de réutilisabilité des données
- En s’appuyant sur la conception simple de ReSkin, il sépare l’électronique de détection et l’interface de détection
- seule la surface souple endommagée peut être remplacée facilement
- la conception vise la compatibilité avec différents effecteurs terminaux de robots
- Le contact est détecté par la déformation du champ magnétique créée par les particules de fer magnétisées dans la surface de détection
- L’électronique de détection est composée de 5 magnétomètres, et chaque capteur mesure la densité de flux magnétique sur 3 axes
Des performances d’apprentissage maintenues après remplacement
- AnySkin vise la cross-instance generalizability, c’est-à-dire l’application à de nouvelles instances de peau d’une politique de manipulation apprise sur une autre instance de capteur
- Les politiques apprises par clonage comportemental conservent leur réussite sur 3 tâches même après remplacement de la peau
- Card Swiping
- Plug Insertion
- USB Insertion
- Pour la détection de glissement, un modèle LSTM entraîné sur les données de 30 objets du quotidien prédit les slip events avec une précision de 92 %
Méthode de fabrication et ressources publiées
- La fabrication consiste à mélanger Smooth-On DragonSkin 10 Slow et des particules magnétiques MQFP-15-7 de 25μm selon un ratio 1:1:2, puis à faire durcir l’ensemble dans un moule en 2 parties
- la skin durcie est magnétisée avec un pulse magnetizer
- les fichiers de conception des embouts de pince sont publiés
- Les ressources associées sont également fournies
1 commentaires
Avis sur Hacker News
Si je comprends bien, le principe consiste à incorporer des particules magnétiques dans du caoutchouc de silicone, à les aimanter, puis à détecter, avec des magnétomètres placés à plusieurs points de référence, les variations du champ magnétique afin de lire les déformations du caoutchouc et d’analyser les « points de pression » à la surface.
L’innovation semble être que le procédé de fabrication est suffisamment régulier pour que chaque interface en silicone magnétique puisse être utilisée comme une pièce remplaçable, sans longue « recalibration » du signal d’entrée.
On a l’impression que cela rapproche les capteurs tactiles haut de gamme de vis usinées plutôt que de clous faits main sur mesure.
Je ne connais pas bien ce domaine, mais c’est vraiment impressionnant.
Je me demande si cela pourrait servir au tri des déchets et des matériaux recyclables, et s’il serait possible de recalibrer le système lorsqu’il est encrassé ou vieillissant. Le silicone résiste probablement assez bien au vieillissement.
Je me demande aussi si cela pourrait permettre de laver des tomates et d’en retirer le pédoncule.
J’aimerais aussi avoir un trackpad fait avec cette technologie. Je me demande quelle résolution on pourrait obtenir, et je n’aimerais pas sacrifier beaucoup de résolution en échange de fonctions comme la pression ou l’inclinaison.
Cela dit, si cela donne la sensation de frotter de la peau avec le doigt, ce pourrait être assez dérangeant ; je n’ai pas envie qu’un ordinateur portable ait une partie qui ressemble à de la chair.
Le tri des déchets et du recyclage utilise peu de robots ; la plupart des systèmes exploitent les propriétés matérielles des objets. Certaines entreprises ont essayé d’ajouter des robots delta pour atteindre le débit élevé nécessaire à la rentabilité, mais cela n’a pas suffi. Des municipalités ou universités avec de gros budgets pourraient y arriver, mais c’est difficile à justifier financièrement.
Pour la recalibration, je me demande comment les développeurs gèrent l’affaiblissement du champ magnétique dans le temps et les corps étrangers. Le silicone peut être de qualité lavable, mais à haut débit, un matériau souple qui reste en contact avec des pièces s’use et ses caractéristiques de préhension changent.
Pour laver des tomates et enlever leur pédoncule, il faudrait encore plus de dix ans de baisse des coûts des robots et des effecteurs terminaux, ainsi que des gains d’efficacité, pour battre le lavage en vrac et l’équeutage manuel, ou des opérations mécaniques plus grossières. Cela ressemble plutôt à un projet de doctorant pour un futur robot domestique théorique.
Le Lenovo TrackPoint fournit probablement déjà 95 % de ce qu’il faut pour un trackpad, et je ne pense pas que ce capteur tactile vise ce marché.
Les usages qui semblent utiles seraient une version simple collée à un effecteur terminal existant pour fournir uniquement un retour booléen de « pièce détectée », la détection d’un déplacement important de la pièce pendant la prise afin d’arrêter le robot, la préhension d’aliments nécessitant plusieurs combinaisons de pression, les tâches d’alignement où un effecteur terminal long rend difficile la détection de position par les seules articulations, ainsi que la manipulation de textiles. Les textiles sont un problème difficile pour les robots ; disposer de davantage d’informations sur la « pièce » aiderait, et cela pourrait lever un obstacle important à l’automatisation de la fabrication de chaussures à un coût raisonnable.
Le cœur du système semble être un bon chip de magnétomètre 3 axes[1] disposé en réseau.
Les particules magnétiques incorporées dans la peau remplaçable sont alignées en parallèle lors de l’étape d’aimantation pendant la fabrication. C’est un mélange intéressant de plusieurs éléments presque à l’état de l’art, tout en restant utilisables même dans un atelier domestique.
[1] https://www.digikey.com/en/products/detail/melexis-technolog...
ReSkin: versatile, replaceable, lasting tactile skins
https://arxiv.org/abs/2111.00071
Cela semble vraiment utile pour les instruments de musique électroniques. Par exemple quelque chose comme le Linnstrument (https://www.rogerlinndesign.com/linnstrument), qui utilise une grille de bandes de résistances sensibles à la force.
Je me demande si ces capteurs interfèrent entre eux lorsqu’on les place côte à côte.
Le coût m’inquiète, mais les instruments existants ne sont pas particulièrement bon marché non plus.
Les grands modèles sont tous assez chers, et je me demande si cette nouvelle technologie pourrait être un moyen de rendre ce type de produit moins coûteux.
Cela pourrait être intéressant pour des instruments offrant davantage de retour tactile, comme un tambour à main ou un violon. Mais ces surfaces de contrôle électroniques existent seulement parce que les interprètes humains ne sont pas déjà des robots.
Pour des tâches comme l’insertion d’une clé USB, je me demande si le robot détecte les changements d’angle lorsqu’il s’aligne avec l’orifice, ou les différences de pression entre ses deux « doigts ».
J’aimerais savoir si le robot « tâtonne » pour aligner la prise USB.
Je me demande aussi si le matériau de base de la peau est du silicone moulé, ou s’il pourrait s’agir d’un TPU imprimable en 3D.
https://www.smooth-on.com/products/dragon-skin-10-slow/
Donc l’imprimer directement en 3D serait difficile, mais on devrait pouvoir imprimer le moule en 3D.
Très bien, et ça semble beaucoup plus facile à fabriquer que les anciens capteurs Takktile https://biorobotics.harvard.edu/takktile.html
Si l’on place une couche suffisamment rigide entre la puce et la peau, on dirait qu’on peut appliquer à la peau des forces destructrices sans endommager du tout le circuit imprimé. Avec Takktile, l’époxy était directement en contact avec le capteur de pression ; on pouvait donc ajouter une couche de protection par-dessus, mais la sensibilité baissait forcément.
Je me demande aussi dans quelle mesure la partie apprentissage de politique est indépendante de la technologie. Je me demande si le modèle finit par dépendre du vecteur de direction fourni par la carte plutôt que de la position de contact. Ce n’est pas forcément un problème en soi ; j’aimerais surtout savoir si la directionalité « isole » certaines variations et simplifie le processus d’apprentissage.
Cela dit, comme on utilise du deep learning, il est difficile d’interpréter précisément sur quelles grandeurs la politique s’appuie. Potentiellement, elle pourrait être indépendante de la modalité, mais jusqu’ici il n’existait pas de capteur qui (1) détecte des grandeurs intuitivement liées, comme la position de contact et les forces sur 3 axes, et (2) présente une cohérence de signal suffisante pour qu’un modèle de deep learning généralise entre instances.
C’était la motivation centrale d’AnySkin, et nous avons trouvé une procédure de fabrication relativement simple qui rend cela possible avec une approche de détection magnétique.
J’ai fait un peu de recherche sur le toucher robotique, et c’était vraiment passionnant.
Nous utilisions des capteurs « biotac » et leurs performances étaient très bonnes, mais 1) ils étaient extrêmement chers et 2) le remplacement de la peau usée était terriblement difficile.
Un avantage de biotac par rapport à cette approche, c’est qu’en envoyant un gros chèque, on peut effectivement en acheter. Ce genre d’objet issu du monde académique est souvent impossible à se procurer, quel qu’en soit le prix. Ça a l’air super, et j’aimerais bien en avoir quelques-uns.
Il suffirait probablement d’imprimer du TPU en 3D et d’y insérer des aimants de qualité. La remagnétisation soi-même est sans doute aussi assez facile, même si elle pourrait ne pas être bon marché https://www.magnet-physik.de/en/magnetizing-technology/magne...
La carte en dessous n’est-elle pas simplement une grille de ces composants ? https://www.adafruit.com/product/4022
J’aime bien le graphique « Fabrication process ». Difficile de faire plus simple.
L’application est un capteur tactile, mais la vraie percée semble être l’intégration de particules magnétiques orientées parallèlement dans un milieu flexible.
Quelques questions me viennent immédiatement. L’entreprise qui fabrique Magnequench sait évidemment que l’on peut intégrer des particules magnétiques dans d’autres matériaux ; quels sont les usages les plus courants de ce type de particules ? Je me demande si on les place généralement dans un milieu solide fixe et non flexible, ou plutôt dans un liquide.
Je me demande aussi s’il faut absolument utiliser Dragon Skin. L’idée de mélanger des particules magnétiques à un milieu semi-solide est intéressante. Si l’on mettait des particules dans de la gelée ou du Silly Putty, par exemple, pourrait-on appliquer un champ magnétique externe pour déformer ou façonner le milieu qui les contient ?
Les formules « politiques visuo-tactiles apprises pour des tâches précises comme l’insertion USB ou le passage d’une carte bancaire… » et « grands modèles de fondation… » donnent l’impression que cela permettrait à un robot d’utiliser une poignée ou un bouton de porte pour littéralement ouvrir une porte. Hâte de voir ça.
À ma connaissance, cela n’avait jamais été montré auparavant, et c’est un résultat qui ouvre la voie à des applications à grande échelle intéressantes pour ce capteur.