[论文解读] OCRTOC: A Cloud-Based Competition and Benchmark for Robotic Grasping and Manipulation

Ziyuan Liu, Wei Liu+9 more|arXiv (Cornell University)|Apr 23, 2021

Robot Manipulation and Learning参考文献 30被引用 6

一句话总结

OCRTOC 引入了一项基于云的机器人抓取与操作基准测试与竞赛，支持在相同的真实机器人硬件上远程执行标准化的桌面整理任务。该平台通过在仿真和真实世界环境中自动评分，实现了公平且可复现的性能评估。2020年IROS竞赛中有59支队伍参与，2021年计划进一步改进，包括提供基线解决方案、新增7轴机器人以及更真实的任务。

ABSTRACT

In this paper, we propose a cloud-based benchmark for robotic grasping and manipulation, called the OCRTOC benchmark. The benchmark focuses on the object rearrangement problem, specifically table organization tasks. We provide a set of identical real robot setups and facilitate remote experiments of standardized table organization scenarios in varying difficulties. In this workflow, users upload their solutions to our remote server and their code is executed on the real robot setups and scored automatically. After each execution, the OCRTOC team resets the experimental setup manually. We also provide a simulation environment that researchers can use to develop and test their solutions. With the OCRTOC benchmark, we aim to lower the barrier of conducting reproducible research on robotic grasping and manipulation and accelerate progress in this field. Executing standardized scenarios on identical real robot setups allows us to quantify algorithm performances and achieve fair comparisons. Using this benchmark we held a competition in the 2020 International Conference on Intelligence Robots and Systems (IROS 2020). In total, 59 teams took part in this competition worldwide. We present the results and our observations of the 2020 competition, and discuss our adjustments and improvements for the upcoming OCRTOC 2021 competition. The homepage of the OCRTOC competition is www.ocrtoc.org, and the OCRTOC software package is available at https://github.com/OCRTOC/OCRTOC_software_package.

研究动机与目标

• 通过提供对标准化真实机器人硬件的远程访问，降低机器人操作研究的入门门槛。
• 建立一个公平、可复现的基准，用于评估不同研究团队的抓取与操作算法。
• 通过提供一致的任务和度量标准的统一评估平台，加速机器人操作领域的进展。
• 通过在相同硬件配置下的仿真与真实世界测试，支持开发稳健的端到端解决方案。
• 通过每年一度的竞赛，推动社区参与，竞赛任务具有标准化且贴近真实世界的特点。

提出的方法

• OCRTOC 基准测试使用基于云的基础设施，托管相同的实物机器人配置（带力反馈的Panda 7轴机械臂），用于远程执行桌面整理任务。
• 研究人员将代码上传至云服务器，代码在仿真环境和真实机器人硬件上同时执行，并由系统自动评分性能。
• 提供标准化的软件堆栈，包括用于物体位姿估计和从点云端到端抓取的感知模块，以及使用PDDLStream的高层规划模块。
• 基准测试包含一个标注的真实世界数据集，包含76个场景、6004张RGB-D图像、每帧30,000个6D物体位姿，以及33个物体的纹理3D网格模型。
• 系统支持仿真与真实世界评估，确保算法性能在相同、可复现的条件下进行测试。
• 2021年将提供基线解决方案，包含感知、规划和轨迹生成模块，以降低新参与者的入门门槛。

实验结果

研究问题

• RQ1 基于云的基准测试是否能通过使用相同的真实机器人硬件，实现对不同研究团队抓取与操作算法的公平且可复现的评估？
• RQ2 最先进算法在涉及物体重新排列的标准化真实世界桌面整理任务中的表现如何？
• RQ3 提供基线解决方案和标注训练数据对机器人操作竞赛中参与度与性能的影响有多大？
• RQ4 在统一的基准测试框架中，基于仿真的开发与真实世界验证在多大程度上可以有效结合？
• RQ5 如何优化竞赛设计，以在保持严格评估标准的同时最大化参与度？

主要发现

• OCRTOC 基准测试成功使来自五大洲的59支团队参与了2020年IROS竞赛，表明全球对标准化机器人操作评估存在强烈兴趣。
• 竞赛结果表明，物体重新排列仍是需要感知、抓取与运动规划能力高度集成的挑战性任务。
• 提供基线解决方案和标注数据集显著降低了参与门槛，使那些没有先前机器人硬件或大规模数据采集经验的团队也能参与。
• 2021年采用配备力反馈的7轴Panda机械臂相比2020年的6轴配置，提升了基准测试的真实感与控制保真度。
• 2021年采用月度提交格式，预计可因应团队的时间安排限制而提升参与度。
• 基准测试的双通道评估流程——先仿真后真实世界执行——确保了所有提交结果的一致性、可靠性与可复现性。