[论文解读] Scaling Robot Supervision to Hundreds of Hours with RoboTurk: Robotic Manipulation Dataset through Human Reasoning and Dexterity

Ajay Mandlekar, Jonathan Booher+7 more|arXiv (Cornell University)|Nov 11, 2019

Robot Manipulation and Learning参考文献 40被引用 11

一句话总结

本文提出 RoboTurk，一个远程遥操作平台，将人类监督的机器人操作数据采集规模扩展至超过111小时，覆盖54名用户和3项复杂任务——物品搜索、积木搭建与衣物整理，通过实时、低延迟的基于网络的控制方式，结合安全与多传感器数据流同步机制，在保持高质量、多样化示范的同时，实现了数据量一个数量级的提升。

ABSTRACT

Large, richly annotated datasets have accelerated progress in fields such as computer vision and natural language processing, but replicating these successes in robotics has been challenging. While prior data collection methodologies such as self-supervision have resulted in large datasets, the data can have poor signal-to-noise ratio. By contrast, previous efforts to collect task demonstrations with humans provide better quality data, but they cannot reach the same data magnitude. Furthermore, neither approach places guarantees on the diversity of the data collected, in terms of solution strategies. In this work, we leverage and extend the RoboTurk platform to scale up data collection for robotic manipulation using remote teleoperation. The primary motivation for our platform is two-fold: (1) to address the shortcomings of prior work and increase the total quantity of manipulation data collected through human supervision by an order of magnitude without sacrificing the quality of the data and (2) to collect data on challenging manipulation tasks across several operators and observe a diverse set of emergent behaviors and solutions. We collected over 111 hours of robot manipulation data across 54 users and 3 challenging manipulation tasks in 1 week, resulting in the largest robot dataset collected via remote teleoperation. We evaluate the quality of our platform, the diversity of demonstrations in our dataset, and the utility of our dataset via quantitative and qualitative analysis. For additional results, supplementary videos, and to download our dataset, visit http://roboturk.stanford.edu/realrobotdataset .

研究动机与目标

• 将人类监督的机器人操作数据采集规模扩展至数百小时，同时保持数据质量。
• 解决自监督方法产生的数据噪声过高问题，以及传统人类示范在规模上的局限性。
• 在需要推理与精细操作能力的复杂操作任务上，收集多样化、高质量的示范。
• 将 RoboTurk 平台从仿真环境扩展至真实机器人，处理硬件延迟、安全性和多传感器数据同步问题。
• 通过远程遥操作构建目前已知规模最大的同类数据集，用于模仿学习、奖励函数设计与分层规划。

提出的方法

• 扩展 RoboTurk 平台，支持使用网页浏览器和智能手机运动控制器进行真实机器人遥操作。
• 实现低延迟远程控制管道，通过视频流和执行反馈来应对网络与执行器延迟。
• 设计安全机制，在新手用户操作期间保护机器人安全。
• 在并发数据采集过程中，同步来自多台机器人的多速率传感器流（如RGB图像、关节状态）。
• 提出三项新颖的操作任务——物品搜索、积木搭建与衣物整理，要求兼具认知推理与精细运动控制能力。
• 应用基于三元组损失的嵌入学习方法，捕捉示范中的时间与语义结构，以支持下游奖励函数学习。

实验结果

研究问题

• RQ1 远程遥操作平台是否能在不牺牲数据质量的前提下，将真实机器人上的人类监督数据采集规模扩展至数百小时？
• RQ2 在需要推理与精细操作能力的复杂操作任务中，人类解决方案的多样性如何体现？
• RQ3 所收集的数据集是否能够支持下游学习任务，如奖励函数学习与策略模仿？
• RQ4 在众包环境下，将遥操作扩展至真实机器人面临的关键挑战是什么？如何应对？
• RQ5 从示范中学习到的嵌入在多大程度上能捕捉任务进展与语义相似性？

主要发现

• RoboTurk 平台在一周内成功收集了超过111小时的真实机器人操作数据，覆盖54名用户，数据规模相比以往人类监督数据集提升了整整一个数量级。
• 参与者能快速适应基于智能手机的遥操作界面，高效地完成复杂任务的数据采集，且示范多样性显著。
• 该数据集在解决方案策略上表现出高度多样性，每项任务均观察到多种不同方法，例如在衣物整理任务中出现了多种折叠与抓取技术。
• 通过三元组损失学习得到的帧嵌入能够捕捉任务语义与时间进展，靠近目标帧的距离较小表示任务完成，距离较大则表示早期或不成功的阶段。
• 嵌入空间在作为潜在密集奖励函数方面展现出实用性，靠近成功终止帧的距离与任务进展程度高度相关。
• 在数据子集（聚焦于毛巾抓取）上进行行为克隆训练取得部分成功，但使用完整数据集训练时失败，凸显了未来研究在处理多模态示范方面的需求。