OK-Robot : un framework ouvert et modulaire pour des tâches de pick-and-drop zero-shot en environnement domestique conditionnées par le langage
- OK-Robot est un framework ouvert et modulaire pour des tâches de pick-and-drop zero-shot basées sur des consignes en langage naturel dans des environnements domestiques arbitraires.
- Dans 10 environnements domestiques à New York, OK-Robot a tenté 171 tâches de pick-and-drop, avec 5 exemples de tâches présentés dans chacun de 5 foyers.
Comprendre les performances de OK-Robot
- OK-Robot peut montrer une généralisation zero-shot dans des environnements entièrement nouveaux, mais une analyse a été menée pour mieux comprendre les raisons des succès et des échecs.
- Dans de nouveaux environnements domestiques, il a affiché un taux de réussite de 58,5 %, mais les causes d’échec présentent une longue traîne ; les trois principales sont l’incapacité à récupérer le bon objet dans la mémoire sémantique (9,3 %), l’obtention de poses difficiles dans le module de manipulation (8,0 %) et des problèmes matériels (7,5 %).
Article
- Titre : "OK-Robot: What Really Matters in Integrating Open Knowledge Models for Robotics"
- L’article peut être lu au format arXiv et PDF, et des informations de citation sont fournies au format bibtex.
Code
- Le code de OK-Robot est disponible sur GitHub sous licence MIT, et le contenu du site web est publié sous licence CC ANS 4.0.
L’avis de GN⁺
- Le projet OK-Robot propose une approche innovante pour intégrer la compréhension du langage et l’interaction physique dans le domaine de la robotique.
- Ce framework peut jouer un rôle important dans l’amélioration de l’autonomie et de l’adaptabilité des robots dans de véritables environnements domestiques.
- Grâce au code et à l’article fournis, les chercheurs et développeurs ont l’opportunité de faire progresser cette technologie et de l’appliquer à divers cas d’usage.
3 commentaires
https://hello-robot.com/purchase
Le produit lui-même coûte 2500 dollars...
En plus, il faut un iPhone Pro
Le chargeur avec station d’accueil coûte 995 dollars lol
C’est un prix pour pigeons ?
Pourquoi la station d’accueil est-elle vraiment à ce prix-là ?
Même le mode de connexion consiste à brancher directement un connecteur DC… lol
https://hello-robot.com/stretch-docking-station
Commentaires Hacker News
Le robot semble lent dans l’exécution de ses tâches, mais les tests montrent qu’il accomplit la plupart d’entre elles plus vite, plus précisément et sans se plaindre que la génération Z.
Une avancée remarquable qui pourrait changer la vie des personnes handicapées, des personnes âgées, des gamers, des personnes extrêmement paresseuses et de celles qui s’occupent d’eux.
Proposition d’une possibilité de résolution de tâches à long terme grâce à de grands modèles fondés sur la fiction interactive.
Questions sur la manière dont le robot reconnaît les objets, perçoit qu’il ne peut pas exécuter une demande et gère les objets masqués.
Avis personnel exprimant l’envie d’acheter un robot à 2500 dollars pour plier et ranger le linge.
Interrogation sur la raison pour laquelle les robots à usage général sont si lents, alors qu’on s’attendrait à ce que les machines accomplissent les tâches plus rapidement que les humains.
Mention de robots comme Dobb-e.
Expression de l’attente de voir l’évolution du projet, avec l’espoir qu’une intégration avec des aides à la mobilité puisse provoquer un grand changement pour les personnes ayant des limitations physiques.
L’analyse des échecs est bien faite, et il y a de la curiosité sur ce que constitue une panne matérielle et sur la manière dont cela est déterminé dans cinq essais, par exemple lorsque « Realsense a fourni une profondeur erronée ».
Souhait d’un véhicule à plateforme stabilisé par gyroscope, avec une question sur l’existence d’une solution capable de transporter des boissons et des en-cas sur des chemins accidentés.