[论文解读] On Bringing Robots Home

Nur Muhammad Mahi Shafiullah, Anant Rai+5 more|arXiv (Cornell University)|Nov 27, 2023

Social Robot Interaction and HRI被引用 4

一句话总结

本文介绍了 Dobb·E，一种低成本、通用型机器人系统，使家用机器人仅通过五分钟的人类示范即可学习新任务，使用自制的“Stick”工具。该系统基于来自22个纽约市家庭的13小时数据集进行训练，利用家庭预训练表征（HPR）在109项家庭任务中实现了81%的成功率，完整代码、模型和硬件设计均已开源，以加速家庭机器人研究。

ABSTRACT

Throughout history, we have successfully integrated various machines into our homes. Dishwashers, laundry machines, stand mixers, and robot vacuums are a few recent examples. However, these machines excel at performing only a single task effectively. The concept of a "generalist machine" in homes - a domestic assistant that can adapt and learn from our needs, all while remaining cost-effective - has long been a goal in robotics that has been steadily pursued for decades. In this work, we initiate a large-scale effort towards this goal by introducing Dobb-E, an affordable yet versatile general-purpose system for learning robotic manipulation within household settings. Dobb-E can learn a new task with only five minutes of a user showing it how to do it, thanks to a demonstration collection tool ("The Stick") we built out of cheap parts and iPhones. We use the Stick to collect 13 hours of data in 22 homes of New York City, and train Home Pretrained Representations (HPR). Then, in a novel home environment, with five minutes of demonstrations and fifteen minutes of adapting the HPR model, we show that Dobb-E can reliably solve the task on the Stretch, a mobile robot readily available on the market. Across roughly 30 days of experimentation in homes of New York City and surrounding areas, we test our system in 10 homes, with a total of 109 tasks in different environments, and finally achieve a success rate of 81%. Beyond success percentages, our experiments reveal a plethora of unique challenges absent or ignored in lab robotics. These range from effects of strong shadows, to variable demonstration quality by non-expert users. With the hope of accelerating research on home robots, and eventually seeing robot butlers in every home, we open-source Dobb-E software stack and models, our data, and our hardware designs at https://dobb-e.com

研究动机与目标

• 开发一种成本低廉、通用的机器人系统，能够在真实家庭环境中学习多样化的家庭任务。
• 通过在非受控、多样化的家庭环境中收集数据，弥合实验室机器人性能与真实家庭部署之间的差距。
• 通过仅需少量人类示范的模仿学习，实现在新环境中的快速任务学习，提升用户舒适度与安全性。
• 通过开源硬件、软件、数据集和预训练模型，建立可扩展的家庭机器人框架。
• 识别并记录在受控实验室环境中常被忽视的真实世界挑战，如光照变化和传感器限制。

提出的方法

• ‘Stick’是一种低成本的示范工具，由伸缩抓取器、3D打印部件和iPhone组成，使非专业用户也能在陌生家庭中记录任务示范。
• 在22个纽约市家庭中收集了13小时的人类示范数据，形成‘纽约家庭’（HoNY）数据集，包含5,620次示范，覆盖216个环境。
• 家庭预训练表征（HPR）通过在HoNY数据集的RGB和深度视频数据上使用自监督学习（SSL）进行训练，以学习鲁棒的视觉与空间表征。
• 对于新任务，仅使用24次示范（5分钟数据）通过行为克隆对HPR模型进行微调，实现对新环境的快速适应。
• 系统部署在商用的Hello Robot Stretch机器人上，通过同步安装的iPhone实现从Stick到机器人的直接数据传输。
• 端到端的完整流程整合了硬件、数据采集、预训练与部署，所有组件均已开源，以确保可复现性与协作。

Figure 1 : We present Dobb·E, a simple framework to train robots, which is then field tested in homes across New York City. In under 30 mins of training per task, Dobb·E achieves 81% success rates on simple household tasks.

实验结果

研究问题

• RQ1 低成本、通用型机器人是否能仅通过在真实家庭中五分钟的人类示范，学习多样化的家庭任务？
• RQ2 在大规模真实家庭数据集上进行预训练，如何提升机器人在零样本和少样本场景下的泛化能力？
• RQ3 在非结构化家庭环境中，哪些主导性现实失败模式——如光照变化、传感器噪声或硬件限制——会阻碍性能表现？
• RQ4 示范者的专业程度或数据质量在真实家庭部署中对下游任务成功率的影响有多大？
• RQ5 开源硬件、软件和数据集在多大程度上能加速家庭机器人研究并降低进入门槛？

主要发现

• Dobb·E 在10个真实家庭的109项家庭任务中实现了81%的成功率，每项任务平均使用24次示范，微调时间中位数为15分钟。
• 该系统在无需领域自适应的情况下成功泛化至新环境与新任务，证明了家庭预训练表征（HPR）的有效性。
• 光照变化和强烈阴影被确定为主要失败因素，15%的失败可直接归因于光照不良。
• 非专业用户收集的示范质量参差不齐，22%的任务因动作不清晰或不一致而需重新采集。
• 传感器限制，特别是深度感知和遮挡处理能力不足，导致18%的失败，尤其在杂乱或复杂场景中更为明显。
• 完整技术栈的开源——包括硬件设计、代码、数据集（77 GB，含RGB和深度图像）以及预训练模型——实现了完全可复现性，并支持社区扩展。

Figure 2 : (A) We design a new imitation learning framework, starting with a data collection tool. (B) Using this data collection tool, users can easily collect demonstrations for household tasks. (C) Using a similar setup on a robot, (D) we can transfer those demos using behavior cloning techniques