[论文解读] The ACRV Picking Benchmark (APB): A Robotic Shelf Picking Benchmark to Foster Reproducible Research

Jürgen Leitner, Adam W. Tow+16 more|arXiv (Cornell University)|Sep 17, 2016

Robot Manipulation and Learning参考文献 20被引用 5

一句话总结

ACRV 拾取基准（APB）引入了一个可复现、物理上可实现的机器人货架拾取基准，采用标准货架、42种常见的家用物品，以及通过模板引导的物体放置方式，以实现对完整机器人系统的一致性评估。该基准报告了一个基于Baxter机器人的基线系统，在简单设置下达到75%的成功率，但在复杂、杂乱的场景中失败，凸显了在真实环境下感知与操作所面临的挑战。

ABSTRACT

Robotic challenges like the Amazon Picking Challenge (APC) or the DARPA Challenges are an established and important way to drive scientific progress. They make research comparable on a well-defined benchmark with equal test conditions for all participants. However, such challenge events occur only occasionally, are limited to a small number of contestants, and the test conditions are very difficult to replicate after the main event. We present a new physical benchmark challenge for robotic picking: the ACRV Picking Benchmark (APB). Designed to be reproducible, it consists of a set of 42 common objects, a widely available shelf, and exact guidelines for object arrangement using stencils. A well-defined evaluation protocol enables the comparison of \emph{complete} robotic systems -- including perception and manipulation -- instead of sub-systems only. Our paper also describes and reports results achieved by an open baseline system based on a Baxter robot.

研究动机与目标

• 为解决缺乏可复现、广泛可访问的机器人拾取基准的问题，这些基准可在主要挑战赛事之外持续复现。
• 实现对完整机器人系统（结合感知、规划与操作）的长期、系统性评估，超越孤立的子系统评估。
• 通过提供具有标准化、公开可获取组件和精确设置说明的物理基准，支持可复现的研究。
• 创建一个可扩展、持续演进的基准，逐步提高难度，以挑战最先进系统并指导未来研究。
• 提供一个公开发布的基于Baxter机器人的基线系统，作为性能比较和改进的参考基准。

提出的方法

• 该基准使用标准的市售货架和42种多样化的常见家用物品，包括易变形、透明及视觉上相似的物品，以模拟真实世界中的杂乱与多样性。
• 通过可打印的模板对物体放置进行标准化，明确定义位置、方向和对齐方式，确保不同测试地点之间的可复现性。
• 定义了四种不同复杂度的基准设置：从简单的单物体拾取，到高度杂乱、多物体、遮挡及透明/易变形物体的场景。
• 建立了完整的评估协议，要求每种设置进行三次连续运行，以减少随机性并避免选择性报告结果。
• 实现了一个基于Baxter机器人的基线机器人系统，公开发布了硬件扩展和软件，包括感知流程、抓取检测和运动规划。
• 通过成功率达到、成功拾取次数和平均拾取时间等指标衡量性能，结果取多次运行的平均值以确保稳健性。

实验结果

研究问题

• RQ1 能否使用常见、市售的组件设计出一个物理上可实现、可复现的机器人拾取基准，以实现实验室之间的稳定评估？
• RQ2 在感知与操作系统面对现实世界复杂性（如物体相似性、遮挡、透明性及可变形性）时，其表现如何？
• RQ3 标准化基准在多大程度上能减少性能评估的变异性，并支持机器人操作领域长期、可复现的研究？
• RQ4 当面对受控但多样的真实环境中的杂乱和具有挑战性的物体属性时，当前机器人系统的典型失效模式是什么？
• RQ5 公开发布的基线系统在不同难度级别的基准中，其性能的一致性如何？

主要发现

• ACRV拾取基准成功实现了对完整机器人系统的可复现评估，通过模板和标准化物体集合明确定义了设置配置。
• 基于Baxter的基线系统在设置1（简单）中实现了75.00%的成功率，三次连续运行中成功拾取了12个物体中的9个。
• 在设置2（中等难度）中，系统成功率为33.33%，拾取了12个物体中的4个，主要由于在杂乱配置中感知与规划出现问题。
• 在设置3（高难度）中，系统成功率为8.33%（12次拾取中仅1次成功），失败原因包括黑色/反光物体导致的分割错误以及点云噪声下的抓取规划不佳。
• 在设置4（极端难度）中，系统在全部18项任务中均未成功，完全无法执行任何抓取，原因包括密集堆积、透明物体、小型物体及复杂几何形状。
• 结果表明，即使在设计良好的基线系统下，当前系统在面对真实世界挑战（如遮挡、物体相似性及传感器噪声）时仍存在显著困难。