[论文解读] Object Pose Estimation in Robotics Revisited

Antti Hietanen, Jyrki Latokartano+5 more|arXiv (Cornell University)|Jun 6, 2019

Robot Manipulation and Learning参考文献 35被引用 7

一句话总结

本文提出了一种用于机器人领域6D物体位姿估计的概率评估指标，该指标通过在真实机器人交互数据上使用非参数核回归，直接测量任务成功概率，而非依赖于传统的几何误差指标（如ADC）。实验表明，现有指标与真实世界性能的相关性较差，而新指标更能反映实际的机器人抓取成功率，该结论已在包含工业零件的新基准数据集上得到验证。

ABSTRACT

Vision based object grasping and manipulation in robotics require accurate estimation of object's 6D pose. The 6D pose estimation has received significant attention in computer vision community and multiple datasets and evaluation metrics have been proposed. However, the existing metrics measure how well two geometrical surfaces are aligned - ground truth vs. estimated pose - which does not directly measure how well a robot can perform the task with the given estimate. In this work we propose a probabilistic metric that directly measures success in robotic tasks. The evaluation metric is based on non-parametric probability density that is estimated from samples of a real physical setup. During the pose evaluation stage the physical setup is not needed. The evaluation metric is validated in controlled experiments and a new pose estimation dataset of industrial parts is introduced. The experimental results with the parts confirm that the proposed evaluation metric better reflects the true performance in robotics than the existing metrics.

研究动机与目标

• 解决现有6D位姿估计指标的局限性，这些指标仅衡量几何对齐度，而非真实世界中的机器人任务成功率。
• 构建一个包含真实杂乱与遮挡情况的工业零件基准数据集，用于评估位姿估计方法。
• 开发一种任务特定的概率评估指标，能够反映实际抓取成功率，且无需进行重复的物理实验。
• 证明传统指标（如ADC）无法捕捉真实机器人任务中非线性的性能下降。
• 通过基于真实交互数据的模拟评估流程，实现6D位姿估计方法之间公平、可复现且具有物理意义的比较。

提出的方法

• 提出一个条件概率模型 $ P(X=1|\hat{\theta}) $，其中 $ \hat{\theta} $ 为估计的6D位姿，$ X=1 $ 表示机器人任务执行成功。
• 在一组真实世界机器人交互样本上使用非参数核回归，估计6D位姿空间 $ \mathcal{E} = \mathbb{R}^3 \times S^3 $ 中任意给定位姿估计的成功概率。
• 通过在受控工业环境中使用机械臂自动生成数千个随机位姿样本，并记录成功/失败结果。
• 在多种夹爪-物体组合及任务上训练并验证该概率模型，确保其在不同物理配置下的泛化能力。
• 构建一个新基准数据集，包含工业零件的3D模型以及约600个具有不同杂乱与遮挡水平的测试场景。
• 通过使用学习到的概率模型模拟任意位姿估计的任务成功情况，将评估过程与物理硬件解耦。

实验结果

研究问题

• RQ1 传统6D位姿误差指标（如ADC）在真实机器人操作中与实际任务成功率的相关性如何？
• RQ2 基于真实机器人交互数据的概率指标是否能比几何误差指标更准确地反映6D位姿估计方法的真实性能？
• RQ3 抓取成功率如何随位姿的微小变化而变化？该变化能否被非线性误差指标更准确地捕捉？
• RQ4 在真实机器人实验数据上训练的非参数模型能否泛化到未见过的位姿估计，而无需进一步物理测试？
• RQ5 当使用所提出的概率指标与传统ADC指标评估时，不同最先进6D位姿估计方法的排名如何？

主要发现

• 所提出的概率指标 $ P(X=1|\hat{\theta}) $ 比传统指标（如ADC）更能准确且直观地衡量机器人任务成功率。
• 在任务4（Cranfield面板与Shunker夹爪）中，GC与HG方法的平均成功概率分别为0.64与0.63，而ADC值仅为~4.5e-3，表明两者之间存在极差的相关性。
• 在相同任务中，GC方法65%的估计位姿成功概率≥0.9，而HG方法仅13%达到该水平，说明成功概率能更优地捕捉高置信度性能，而ADC则无法体现。
• 成功概率与ADC的散点图显示无一致映射关系，尤其在中间范围更为明显，证明ADC无法反映非线性性能退化。
• 该指标揭示了性能在某些误差阈值后急剧下降——例如，成功概率从1.0迅速降至0.0，而ADC则持续线性下降，导致在关键区域信息量不足。
• 两个基线方法（RANSAC与NNSR）表现极差，成功概率接近0.0，证实即使最先进的方法在使用新指标评估时，仍会在真实机器人任务中失败。