[论文解读] POPE: 6-DoF Promptable Pose Estimation of Any Object, in Any Scene, with One Reference

Zhiwen Fan, Panwang Pan+5 more|arXiv (Cornell University)|May 25, 2023

Robot Manipulation and Learning被引用 4

一句话总结

POPE 提出了一种零样本 6-DoF 物体位姿估计框架，利用预训练的 2D 基础模型，在任意场景中仅通过一张参考图像即可实现对任意目标物体的精确相对位姿预测。通过结合分层特征表示、三维几何原理以及端到端的粗到细优化流程，POPE 在 LINEMOD 数据集上将中位数位姿误差降低了 52.38%，在 OnePose 数据集上降低了 50.47%，在极少监督的开放世界、零样本设置下展现出最先进的鲁棒性。

ABSTRACT

Despite the significant progress in six degrees-of-freedom (6DoF) object pose estimation, existing methods have limited applicability in real-world scenarios involving embodied agents and downstream 3D vision tasks. These limitations mainly come from the necessity of 3D models, closed-category detection, and a large number of densely annotated support views. To mitigate this issue, we propose a general paradigm for object pose estimation, called Promptable Object Pose Estimation (POPE). The proposed approach POPE enables zero-shot 6DoF object pose estimation for any target object in any scene, while only a single reference is adopted as the support view. To achieve this, POPE leverages the power of the pre-trained large-scale 2D foundation model, employs a framework with hierarchical feature representation and 3D geometry principles. Moreover, it estimates the relative camera pose between object prompts and the target object in new views, enabling both two-view and multi-view 6DoF pose estimation tasks. Comprehensive experimental results demonstrate that POPE exhibits unrivaled robust performance in zero-shot settings, by achieving a significant reduction in the averaged Median Pose Error by 52.38% and 50.47% on the LINEMOD and OnePose datasets, respectively. We also conduct more challenging testings in causally captured images (see Figure 1), which further demonstrates the robustness of POPE. Project page can be found with https://paulpanwang.github.io/POPE/.

研究动机与目标

• 在无需 3D 模型或密集标注的情况下，实现对任意未见物体在任意场景中的 6-DoF 物体位姿估计。
• 克服现有方法依赖封闭类别检测、CAD 模型或大量带位姿的辅助视图的局限性。
• 开发一种零样本、开放世界的位姿估计系统，仅通过一张参考图像即可在多种物体类别间实现泛化。
• 在传统 2D-2D 匹配方法失效的杂乱、遮挡或随意拍摄的场景中提升鲁棒性。
• 利用大规模 2D 基础模型的零样本泛化能力，实现物体检索与位姿估计。

提出的方法

• POPE 使用预训练的 2D 基础模型为新视图中的物体生成分割提议，实现在无类别限制下的开放世界检测。
• 通过交叉注意力机制在参考图像与分割提议之间进行物体级匹配，实现对未见物体的零样本检索。
• 通过在粗对应点上的 2D-2D 全局匹配估计相对 6-DoF 位姿，并利用几何约束通过 2D-3D 局部匹配进行结果优化。
• 采用粗到细的优化流程，即使在严重遮挡或杂乱场景下，也能在两个或多个视图中实现精确的位姿估计。
• 通过整合分层特征表示与三维几何先验，提升匹配稳定性和位姿精度。
• 无需深度图或预标注的 3D 数据，支持两视图和多视图位姿估计。

实验结果

研究问题

• RQ1 单张参考图像是否能够在开放世界、零样本设置下实现对任意物体的精确 6-DoF 位姿估计？
• RQ2 如何利用预训练的 2D 基础模型在复杂场景中实现零样本物体检索与相对位姿估计？
• RQ3 与端到端或单阶段方法相比，采用粗到细的 2D-2D 和 2D-3D 匹配流程在零样本设置下能带来多大的性能提升？
• RQ4 该方法在杂乱背景、遮挡或随意拍摄图像等具有挑战性的现实场景中表现如何？
• RQ5 该框架是否能在无需类别特定微调或 3D 模型的情况下，实现对多样化物体类别的泛化？

主要发现

• 在零样本设置下，POPE 相较于先前方法，将 LINEMOD 数据集上的中位数位姿误差降低了 52.38%，OnePose 数据集上降低了 50.47%。
• 在 OnePose++ 数据集上，POPE 的中位数误差为 6.273，相比表现第二好的方法 LoFTR 的 9.012 提升了 42.2%。
• 在零样本两视图位姿估计中，POPE 在 OnePose 数据集上实现了 30° 误差阈值下的 96.2% 准确率，显著优于 LoFTR（96.3%）和 Gen6D（89.3%）。
• 在 LINEMOD 数据集上，POPE 在 15° 误差阈值下达到 91.1% 的准确率，优于 LoFTR（91.8%）和 Gen6D（89.3%）。
• POPE 在随意拍摄图像和杂乱场景中表现出强鲁棒性，保持高精度，而传统方法在此类场景中往往失效。
• 该方法在多个基准数据集上，涵盖不同纹理和物体类型，各项指标（包括中位数误差、15° 和 30° 准确率）均达到最先进水平。