[论文解读] ZeroPose: CAD-Prompted Zero-shot Object 6D Pose Estimation in Cluttered Scenes

Jianqiu Chen, Zhou, Zikun+5 more|arXiv (Cornell University)|May 29, 2023

Image and Object Detection Techniques被引用 4

一句话总结

ZeroPose 提出了一种完全零样本的6D物体位姿估计流程，利用CAD模型和视觉基础模型（SAM与ImageBind）实现对未见过物体的实例级分割与位姿估计，而无需在这些物体上进行任何训练。其在BOP基准测试中实现了最先进性能，平均召回率（AR）达到25.0%，相比先前方法如Megapose提升了8.6个百分点，同时保持了高效率。

ABSTRACT

Many robotics and industry applications have a high demand for the capability to estimate the 6D pose of novel objects from the cluttered scene. However, existing classic pose estimation methods are object-specific, which can only handle the specific objects seen during training. When applied to a novel object, these methods necessitate a cumbersome onboarding process, which involves extensive dataset preparation and model retraining. The extensive duration and resource consumption of onboarding limit their practicality in real-world applications. In this paper, we introduce ZeroPose, a novel zero-shot framework that performs pose estimation following a Discovery-Orientation-Registration (DOR) inference pipeline. This framework generalizes to novel objects without requiring model retraining. Given the CAD model of a novel object, ZeroPose enables in seconds onboarding time to extract visual and geometric embeddings from the CAD model as a prompt. With the prompting of the above embeddings, DOR can discover all related instances and estimate their 6D poses without additional human interaction or presupposing scene conditions. Compared with existing zero-shot methods solved by the render-and-compare paradigm, the DOR pipeline formulates the object pose estimation into a feature-matching problem, which avoids time-consuming online rendering and improves efficiency. Experimental results on the seven datasets show that ZeroPose as a zero-shot method achieves comparable performance with object-specific training methods and outperforms the state-of-the-art zero-shot method with 50x inference speed improvement.

研究动机与目标

• 解决现有位姿估计方法在工业机器人和AR应用中应用于未见物体时的可扩展性与高训练成本问题。
• 仅使用CAD模型作为输入，实现对新物体的高精度6D位姿估计，且无需任何微调或重训练。
• 开发一种两阶段流程，利用视觉与几何先验实现零样本实例分割与零样本位姿估计。
• 通过消除渲染位姿假设或有监督实例检测的需求，提升在杂乱场景中的效率与鲁棒性。
• 建立一个完全零样本的框架，使其在真实世界场景中对多样化未见物体具备良好的泛化能力。

提出的方法

• 两阶段流程：首先利用SAM进行候选掩码生成，通过ImageBind从渲染的CAD视图中提取视觉嵌入以实现匹配。
• 通过候选图像特征与预提取的CAD模型特征之间的余弦相似度进行视觉描述符匹配，为分割实例分配物体ID。
• 一种轻量级分层几何结构匹配模块，可直接将场景中的3D点云与CAD模型的3D几何结构进行匹配，以估计6D位姿。
• 通过RANSAC类ICP匹配方法，基于3D-3D点对应关系进行位姿估计，同时利用物体半径阈值过滤噪声点。
• 该方法完全在推理阶段运行，无需模型微调，仅依赖CAD模型和视觉基础模型。
• 该流程采用类似PyTorch的伪代码实现，通过均匀采样CAD模型点并进行深度投影，生成场景点云。

实验结果

研究问题

• RQ1 基于CAD模型的零样本位姿估计流程是否能在未见物体上实现高精度，而无需任何训练？
• RQ2 像SAM和ImageBind这样的视觉基础模型能否被有效结合，以实现对新物体的零样本实例分割？
• RQ3 与基于渲染的2D-2D对应方法相比，直接的3D-3D几何结构匹配是否在准确率与效率上更具优势？
• RQ4 在具有挑战性的杂乱场景条件下，该方法与SOTA方法（如Megapose）相比在零样本位姿估计中的表现如何？
• RQ5 该流程是否能在BOP基准数据集的多样化未见物体上保持高性能？

主要发现

• 所提出的零样本实例分割方法性能可与有监督的MaskRCNN相媲美，在BOP基准测试中达到17.7%的平均召回率（AR）。
• 零样本位姿估计器在七个BOP核心数据集上实现了25.0%的平均AR，相比Megapose高出8.6个百分点。
• 在LM-O与T-LESS数据集中，性能受限于点云中信噪比低，导致几何结构噪声大，准确率下降。
• 该方法通过避免生成位姿假设，展现出卓越的效率，而Megapose则依赖在线渲染与匹配。
• 该流程在零样本位姿估计中实现了SOTA结果，同时保持快速推理，适用于实时工业应用。
• 视觉基础模型与CAD几何的结合，使该方法在多样化未见物体上实现了鲁棒且可泛化的位姿估计。