Des chercheurs ont présenté Dobb-E, un framework open source axé sur l'apprentissage de la manipulation robotique dans des environnements domestiques. Alors que l'histoire de l'intégration de machines dans nos foyers est riche en succès tels que les lave-vaisselle et les aspirateurs robots, l'objectif de créer un « assistant domestique généraliste » capable de s'adapter et d'apprendre de manière rentable persiste depuis des décennies. Dobb-E cherche à réaliser cet objectif en introduisant un système polyvalent et abordable.Tout au long de l'histoire, nous avons intégré avec succès diverses machines dans nos maisons. Les lave-vaisselle, les machines à laver, les mixeurs et les aspirateurs robots en sont quelques exemples récents. Toutefois, ces machines n'excellent que dans l'exécution efficace d'une seule tâche. Le concept de « machine généraliste » dans les maisons - un assistant domestique capable de s'adapter et d'apprendre à partir de nos besoins, tout en restant rentable - est depuis longtemps un objectif de la robotique qui est poursuivi avec constance depuis des décennies.
Dobb-E, un framework simple pour former des robots, qui est ensuite testé sur le terrain dans des foyers de la ville de New York. En moins de 30 minutes de formation par tâche, Dobb-E atteint un taux de réussite de 81 % sur des tâches ménagères simples.
Dobb-E, un système polyvalent et abordable pour l'apprentissage de la manipulation robotique dans les environnements domestiques. Dobb-E peut apprendre une nouvelle tâche en seulement cinq minutes lorsqu'un utilisateur lui montre comment faire, grâce à un outil de collecte de démonstrations ("The Stick"
que nous avons construit à partir de pièces détachées bon marché et d'iPhones. Nous utilisons le Stick pour collecter 13 heures de données dans 22 foyers de la ville de New York et former des représentations préformées à domicile (Home Pretrained Representations, HPR). Ensuite, dans un nouvel environnement domestique, avec cinq minutes de démonstrations et quinze minutes d'adaptation du modèle HPR, les chercheurs montrent que Dobb-E peut résoudre de manière fiable la tâche sur le Stretch, un robot mobile facilement disponible sur le marché.
Au cours d'une trentaine de jours d'expérimentation dans les maisons de la ville de New York et de ses environs, les chercheurs ont testé un système dans 10 maisons, avec un total de 109 tâches dans différents environnements, et ils ont finalement obtenu un taux de réussite de 81 %. Au-delà des pourcentages de réussite, ces expériences révèlent une pléthore de défis uniques, absents ou ignorés dans la robotique de laboratoire. Ceux-ci vont des effets des ombres fortes à la qualité variable des démonstrations par des utilisateurs non experts.
L'approche novatrice de Dobb-E repose sur un outil de collecte de démonstrations
The Stick construit à partir de pièces détachées bon marché et d'iPhones, permet à Dobb-E d'apprendre une nouvelle tâche en seulement cinq minutes lorsqu'un utilisateur lui montre comment faire. L'outil "Stick" a été utilisé pour collecter 13 heures de données dans 22 foyers de la ville de New York, formant ainsi des représentations préformées à domicile (Home Pretrained Representations, HPR).
Les expérimentations ont été menées avec Dobb-E dans 10 foyers à New York et ses environs, totalisant 109 tâches dans divers environnements. Le taux de réussite global a atteint 81 %, démontrant la capacité du système à résoudre efficacement des tâches variées dans des conditions du monde réel. Ces essais ont également mis en évidence des défis spécifiques aux environnements domestiques, tels que les effets des ombres fortes et la qualité variable des démonstrations par des utilisateurs non experts. Concrètement, les principaux composants de Dobb-E sont les suivants :
- Le matériel : L'interface principale est l'outil de collecte de démonstration, appelé "Stick". Il combine un reacher-grabber abordable avec des composants imprimés en 3D et un iPhone. En outre, iPhone sur le robot facilite le transfert direct de données depuis le Stick sans nécessiter d'adaptation du domaine ;
- Ensemble de données de pré-entraînement : En s'appuyant sur le Stick, les chercheurs accumulent un ensemble de données de 13 heures appelé Homes of New York (HoNY), comprenant 5620 démonstrations de 216 environnements dans 22 maisons de New York, ce qui renforce la capacité d'adaptation de notre système. Cet ensemble de données sert à pré-entraîner les modèles de représentation pour Dobb-E ;
- Modèles et algorithmes : À partir de l'ensemble de données de pré-entraînement, nous entraînons un modèle de vision simplifié, appelé Home Pretrained Representations (HPR), en utilisant des techniques d'apprentissage auto-supervisé (SSL) de pointe, pour les nouvelles tâches, 24 démonstrations seulement ont suffi pour affiner ce modèle de vision, incorporant à la fois des informations visuelles et des informations sur la profondeur pour tenir compte du raisonnement en 3D ;
- Intégration : Notre système global, qui englobe le matériel, les modèles et les algorithmes, est centré sur un robot mobile disponible dans le commerce : le robot de poche autour d'un robot mobile disponible dans le commerce : Hello Robot Stretch.
Dobb-E se distingue par trois principes fondamentaux : l'efficacité, la sécurité et le respect de l'environnement. L'efficacité est obtenue grâce à l'utilisation de données à grande échelle couplées à des outils modernes d'apprentissage automatique. En termes de sécurité, le système apprend à partir d'une poignée de démonstrations humaines au lieu d'un apprentissage par essais et erreurs. Un outil ergonomique de collecte de démonstrations a été développé pour assurer le confort de l'utilisateur, permettant de recueillir des démonstrations spécifiques à une tâche dans des maisons inconnues sans avoir recours à l'apprentissage automatique direct.
Les composants principaux de Dobb-E incluent le matériel, avec l'outil Stick, un ensemble de données de pré-entraînement appelé Homes of New York (HoNY), des modèles et algorithmes tels que le modèle de vision HPR, et l'intégration avec le robot mobile commercial Hello Robot Stretch.
Les résultats expérimentaux soulignent l'efficacité surprenante de méthodes simples, notamment l'utilisation du clonage de comportement pour l'apprentissage de l'imitation visuelle. Le préapprentissage SSL (apprentissage auto-supervisé) joue un rôle crucial, améliorant le taux de réussite des tâches. Dobb-E repose sur une précise odométrie fournie par le "Stick" et sur des informations de profondeur issues des iPhones.
Dobb-E offre un cadre complet pour l'apprentissage des robots domestiques, intégrant des approches innovantes et des principes fondamentaux pour surmonter les défis spécifiques des environnements domestiques réels. Les résultats et les ressources de Dobb-E sont mis en open source pour encourager la recherche et le développement futurs dans le domaine de la robotique domestique.
Dobb-E offre une vision prometteuse et innovante dans le domaine de la robotique domestique. L'utilisation de l'apprentissage de la manipulation robotique dans des environnements domestiques, avec un accent particulier sur la création d'un « assistant domestique généraliste », est un objectif noble et pertinent. Cependant, quelques points méritent d'être examinés de manière critique.
Tout d'abord, l'approche novatrice de Dobb-E avec l'utilisation de l'outil "The Stick" pour la collecte de démonstrations semble être une solution pragmatique et économique. La possibilité d'apprendre une nouvelle tâche en seulement cinq minutes est impressionnante, mais la question de la généralisation de cette rapidité à une variété de tâches complexes nécessite davantage d'investigations. La qualité variable des démonstrations par des utilisateurs non experts peut également affecter la performance globale du système.
Le taux de réussite de 81 % lors des expérimentations dans 10 foyers à New York est encourageant, mais il est important de comprendre les types de tâches pour lesquelles Dobb-E excelle et celles pour lesquelles il pourrait être moins performant. Les défis spécifiques aux environnements domestiques, tels que les effets des ombres fortes, soulignent la complexité réelle du monde domestique et la nécessité d'aborder ces problèmes pour une intégration plus large.
Principales conclusions tirées des expérimentations
Efficacité remarquable des approches simples : Dobb-E adopte une approche de clonage de comportement pour l'apprentissage de l'imitation visuelle, utilisant un modèle ResNet pour l'extraction de la représentation visuelle et un réseau neuronal à deux couches [6] pour la prédiction des actions (consultez la section 2). En moyenne, en n'utilisant que 91 secondes de données par tâche collectée sur une période de cinq minutes, Dobb-E parvient à un taux de réussite de 81 % dans les foyers.
Impact positif du préapprentissage SSL efficace : le modèle de vision fondamental, HPR, formé sur des données domestiques, améliore le taux de réussite des tâches d'au moins 23 % par rapport à d'autres modèles de vision fondamentaux entraînés sur des ensembles de données Internet beaucoup plus vastes.
Odométrie, profondeur et expertise cruciales : le succès de Dobb-E repose en grande partie sur l'apport précis de l'odométrie et des actions provenant du Stick, qui détecte la pose et la position des iPhones, ainsi que sur les informations de profondeur provenant du couvercle des iPhones.
Facilité de collecte des démonstrations pour une itération rapide : la simplicité du processus de collecte des démonstrations avec le Stick permet une itération rapide sur les problèmes de recherche, offrant une approche plus rapide et plus efficace.
Défis à surmonter : les limitations matérielles, telles que la force du robot, sa portée et l'autonomie de la batterie, imposent des restrictions aux tâches physiquement réalisables par notre robot. De plus, notre cadre politique est confronté à des défis liés à une détection ambiguë et à des problèmes complexes.
Dans un effort pour stimuler et soutenir les futurs travaux dans le domaine de la robotique domestique, nous avons rendu accessible notre code, nos données, nos modèles et nos conceptions matérielles. Nous nous engageons également à faciliter la reproduction de nos résultats.
Les trois principes fondamentaux de Dobb-E - l'efficacité, la sécurité et le respect de l'environnement - sont des aspects cruciaux qui distinguent ce framework. L'utilisation de données à grande échelle couplées à des outils modernes d'apprentissage automatique pour l'efficacité est une approche solide. Cependant, le texte ne détaille pas suffisamment comment la sécurité est assurée, en particulier dans des environnements domestiques où la variabilité des conditions est élevée.
[Tweet]<blockquote class="twitter-tweet" data-media-max-width="560"><p lang="en" dir="ltr">Meet Dobb·E: a home robot system that needs just 5 minutes of human teaching to learn new tasks. Dobb·E has visited 10 homes, learned 100+ tasks, and we are just getting started!<br><br>Dobb·E is fully open-sourced (including hardware, models, and software):<a href="https://t.co/By0lVPxCUt">https://t.co/By0lVPxCUt</a> 🧵 <a href="https://t.co/zbLeJ7NasH">pic.twitter.com/zbLeJ7NasH</a></p>— Lerrel Pinto (@LerrelPinto) <a href="https://twitter.com/LerrelPinto/status/1729515379892826211?ref_src=twsrc%5Etfw">November 28, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>[/Tweet]
En ce qui concerne l'intégration de l'ensemble matériel, ensemble de données et modèles, cela montre une approche holistique du problème. Cependant, le choix du robot mobile commercial Hello Robot Stretch mérite une explication plus approfondie, notamment en termes de limitations potentielles du robot pour des tâches spécifiques.
Le framework Dobb-E semble être une contribution significative à la recherche en robotique domestique. Cependant, pour évaluer pleinement sa viabilité à grande échelle, des études plus approfondies, notamment sur la généralisation des tâches, la sécurité et la robustesse dans des conditions variables, sont nécessaires. La mise en open source des ressources est un geste louable qui favorisera certainement la collaboration et le progrès dans ce domaine.
Source : Dobb-E
Et vous ?
Quel est votre avis sur le sujet ? Comment les robots domestiques peuvent-ils être rendus plus adaptatifs pour s'acquitter d'une variété de tâches dans des environnements domestiques complexes ? Comment garantir une interaction homme-robot naturelle et intuitive pour que les utilisateurs se sentent à l'aise avec ces dispositifs dans leur vie quotidienne ?Voir aussi :
En achetant iRobot, Amazon se dote d'une machine de collecte de données livrée avec un aspirateur. L'entreprise pourra procéder à la cartographie de votre maison La startup de la robotique Anki ferme après avoir englouti près de 200 millions de dollars, et licenciera près de 200 employés