[论文解读] RLBench: The Robot Learning Benchmark & Learning Environment

Stephen James, Zicong Ma+2 more|arXiv (Cornell University)|Sep 26, 2019

Robot Manipulation and Learning参考文献 53被引用 45

一句话总结

RLBench 是一个大规模、开源的基准测试与学习环境，包含 100 项独特、手工设计的机器人操作任务，采用 Franka Panda 机械臂并配备丰富的感官观测。它通过基于路径点的运动规划实现无限演示，支持少样本学习、模仿学习、强化学习以及模拟到现实的迁移研究，并在多样化、贴近现实世界的任务中实现标准化评估。

ABSTRACT

We present a challenging new benchmark and learning-environment for robot learning: RLBench. The benchmark features 100 completely unique, hand-designed tasks ranging in difficulty, from simple target reaching and door opening, to longer multi-stage tasks, such as opening an oven and placing a tray in it. We provide an array of both proprioceptive observations and visual observations, which include rgb, depth, and segmentation masks from an over-the-shoulder stereo camera and an eye-in-hand monocular camera. Uniquely, each task comes with an infinite supply of demos through the use of motion planners operating on a series of waypoints given during task creation time; enabling an exciting flurry of demonstration-based learning. RLBench has been designed with scalability in mind; new tasks, along with their motion-planned demos, can be easily created and then verified by a series of tools, allowing users to submit their own tasks to the RLBench task repository. This large-scale benchmark aims to accelerate progress in a number of vision-guided manipulation research areas, including: reinforcement learning, imitation learning, multi-task learning, geometric computer vision, and in particular, few-shot learning. With the benchmark's breadth of tasks and demonstrations, we propose the first large-scale few-shot challenge in robotics. We hope that the scale and diversity of RLBench offers unparalleled research opportunities in the robot learning community and beyond.

研究动机与目标

• 解决真实世界机器人操作领域缺乏标准化、大规模基准测试的问题，以支持传统方法与基于学习的方法。
• 提供一个可扩展、可扩展的平台，用于在多样化、复杂任务中评估视觉引导操作，且具备丰富的感官输入。
• 实现一个大规模的少样本学习挑战，要求智能体从少量演示中泛化到未见过的任务。
• 通过允许将模拟机器人臂轻松替换为真实世界硬件，促进模拟到现实的迁移。
• 通过开放工具支持社区驱动的基准扩展，实现任务创建与验证。

提出的方法

• 设计 100 项手工制作、各不相同的操作任务，涵盖从简单抓取到复杂多阶段流程（如将托盘放入烤箱）等各类操作。
• 为每个任务配备多种传感器模态：本体感觉反馈（关节状态）、来自机臂上方双目摄像头和眼动单目摄像头的 RGB、深度和语义分割掩码。
• 在任务创建过程中，通过用户定义的路径点，利用运动规划器生成无限高质量演示。
• 使用 PyRep 实现模块化、开源的工具链，支持新任务在 RLBench 仓库中快速、可验证地创建与提交。
• 通过提供演示数据和高度模拟真实世界动力学的仿真环境，支持多种学习范式。
• 通过一行代码更改即可实现模拟 Franka Panda 机械臂与真实机器人之间的无缝切换，支持模拟到现实的迁移。

实验结果

研究问题

• RQ1 一个具备无限演示的大规模、多样化基准是否能提升机器人操作中的少样本泛化能力？
• RQ2 在标准化、贴近现实世界的基准上，不同学习范式（强化学习、模仿学习、元学习）的表现如何？
• RQ3 通过具有一致任务与观测设计的统一基准，模拟到现实的迁移能力能在多大程度上得到提升？
• RQ4 当在广泛多样、视觉引导的操作任务上进行训练时，当前方法在多任务学习中的有效性如何？
• RQ5 当与丰富的多模态观测空间结合时，SLAM 和几何推理在实现任务级操作中起到何种作用？

主要发现

• RLBench 提供了一个标准化、可扩展的基准，包含 100 项独特、手工设计的任务，覆盖了从简单到复杂的广泛操作难度与复杂度。
• 基于路径点的运动规划方法可生成无限高质量、多样化的演示，显著缓解了模仿学习与强化学习中的数据稀缺问题。
• 该基准支持一种新颖的大规模少样本学习挑战，即模型需在 M 个已见任务上训练后，从 K 个演示中泛化到 N 个未见任务。
• 丰富的多模态观测（RGB、深度、语义分割、本体感觉）支持视觉控制、部分可观测性以及增量学习等研究。
• 开放且可扩展的工具链支持基准的快速社区扩展，并通过经验证的任务提交流程确保一致性和质量。
• RLBench 使得经典方法与深度学习方法能够直接比较，弥合了传统机器人学与端到端学习方法之间的鸿沟。