[论文解读] REPLAB: A Reproducible Low-Cost Arm Benchmark Platform for Robotic Learning

Brian Yang, Jesse Zhang+3 more|arXiv (Cornell University)|May 17, 2019

Robot Manipulation and Learning参考文献 34被引用 21

一句话总结

REPLAB 是一个基于商用机械臂和 RGBD 相机构建的低成本、可复现的机器人工作台平台（2000 美元），旨在标准化视觉引导机器人抓取任务的基准测试。该平台可实现跨实验室的一致性评估，验证抓取与强化学习算法的性能，已在 25 个训练周期内实现亚厘米级 3D 抓取精度，并为包含 92,000 次抓取的数据集建立了基线性能。

ABSTRACT

Standardized evaluation measures have aided in the progress of machine learning approaches in disciplines such as computer vision and machine translation. In this paper, we make the case that robotic learning would also benefit from benchmarking, and present the "REPLAB" platform for benchmarking vision-based manipulation tasks. REPLAB is a reproducible and self-contained hardware stack (robot arm, camera, and workspace) that costs about 2000 USD, occupies a cuboid of size 70x40x60 cm, and permits full assembly within a few hours. Through this low-cost, compact design, REPLAB aims to drive wide participation by lowering the barrier to entry into robotics and to enable easy scaling to many robots. We envision REPLAB as a framework for reproducible research across manipulation tasks, and as a step in this direction, we define a template for a grasping benchmark consisting of a task definition, evaluation protocol, performance measures, and a dataset of 92k grasp attempts. We implement, evaluate, and analyze several previously proposed grasping approaches to establish baselines for this benchmark. Finally, we also implement and evaluate a deep reinforcement learning approach for 3D reaching tasks on our REPLAB platform. Project page with assembly instructions, code, and videos: https://goo.gl/5F9dP4.

研究动机与目标

• 通过提供标准化、低成本且易于复现的硬件平台，降低机器人学习的入门门槛。
• 实现在不同研究机构之间对视觉引导操作任务（尤其是抓取）的可复现基准测试。
• 通过模块化、自包含的设计，支持机器人学习算法的可扩展、并行化训练。
• 促进社区驱动的数据收集，并提升模型在不同光照和背景条件下的泛化能力。
• 为共享软件实现、预训练模型和标准化评估协议在机器人学习中的应用奠定基础。

提出的方法

• 设计并制造一个紧凑、自包含的机器人工作台（70x40x60 cm），采用低成本商用机械臂（WidowX）和 RGBD 相机。
• 开发标准化的组装说明、代码和数据采集流程，确保各安装实例之间的完全可复现性。
• 创建机器人抓取的基准模板，包括任务定义、评估协议、性能指标，以及一个包含 92,000 次抓取尝试的数据集。
• 在 REPLAB 平台上实现并评估多种已有抓取方法（如 pinto2016、基于 DQN 的方法），以建立性能基线。
• 将 TD3 强化学习算法应用于 3D 抓取任务，所有训练与评估均在 REPLAB 硬件上完成。
• 设计数据消融研究和基于课程的采集策略，以评估模型泛化能力和数据效率。

实验结果

研究问题

• RQ1 低成本、标准化的机器人平台是否能够实现在多个研究机构之间对视觉引导操作算法进行一致且可复现的基准测试？
• RQ2 在硬件差异有限的真实低成本机器人平台上，已有抓取算法的表现如何？
• RQ3 强化学习算法在低成本、可扩展的机器人工作台上，能否实现高精度控制（如亚厘米级抓取）？
• RQ4 数据集规模与多样性在多大程度上影响基于学习的抓取模型在未见物体和条件下的泛化性能？
• RQ5 该平台是否能够支持在多个相同工作台单元上进行可扩展、并行化的强化学习算法训练？

主要发现

• REPLAB 平台在 25 个训练周期（约 24 小时）内，通过 TD3 强化学习算法实现了亚厘米级 3D 抓取精度，证明了其在强化学习研究中的可行性。
• 已有抓取方法（包括 pinto2016）在每个物体上平均需超过 40 次尝试才能完成 20 个物体的清除，表明在泛化能力和样本效率方面仍有显著提升空间。
• 数据消融研究显示，模型在已见物体上的准确率在 80,000 次训练抓取后达到约 65%，表明在此规模后收益递减。
• 92,000 次抓取数据集支持了基线性能评估，使用 80,000 个训练样本时，对未见已知物体的验证准确率达到 64.8%。
• 预训练抓取模型在不同光照和背景条件下，需约 4,000 个新样本（1.5 天）进行微调，凸显了更丰富多样训练数据的必要性。
• 该平台支持可扩展的并行化训练，并通过共享代码、数据采集脚本和标准化评估协议，促进社区协作。