[论文解读] OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD Models

Xingyi He, Jiaming Sun+4 more|arXiv (Cornell University)|Jan 18, 2023

Robot Manipulation and Learning被引用 29

一句话总结

一个关键点-free的SfM与稀疏到密集的2D-3D匹配管线，能够从参考图像重建半稠密的物体点云并在没有CAD模型的情况下估计查询图像的位姿，在纹理丰富和低纹理物体上实现强的一次性结果。

ABSTRACT

We propose a new method for object pose estimation without CAD models. The previous feature-matching-based method OnePose has shown promising results under a one-shot setting which eliminates the need for CAD models or object-specific training. However, OnePose relies on detecting repeatable image keypoints and is thus prone to failure on low-textured objects. We propose a keypoint-free pose estimation pipeline to remove the need for repeatable keypoint detection. Built upon the detector-free feature matching method LoFTR, we devise a new keypoint-free SfM method to reconstruct a semi-dense point-cloud model for the object. Given a query image for object pose estimation, a 2D-3D matching network directly establishes 2D-3D correspondences between the query image and the reconstructed point-cloud model without first detecting keypoints in the image. Experiments show that the proposed pipeline outperforms existing one-shot CAD-model-free methods by a large margin and is comparable to CAD-model-based methods on LINEMOD even for low-textured objects. We also collect a new dataset composed of 80 sequences of 40 low-textured objects to facilitate future research on one-shot object pose estimation. The supplementary material, code and dataset are available on the project page: https://zju3dv.github.io/onepose_plus_plus/.

研究动机与目标

• 消除在一次性物体位姿估计中对可重复图像关键点的依赖。
• 开发一个关键点-free的SfM管线，从参考视图中重建准确的半稠密物体点云。
• 设计一个稀疏到密集的2D-3D匹配网络，在测试图像上实现高效且准确的位姿估计。
• 在标准数据集上展示对CAD模型无关的基线方法的性能提升，并与基于CAD模型的方法相比取得有竞争力的结果。
• 提供一个具有挑战性的低纹理物体数据集，促进未来一带一路的一次性位姿估计研究。

提出的方法

• 将LoFTR风格的关键点-free匹配改造为两阶段SfM框架：通过可重复的粗匹配进行粗略重建，形成完整的半稠密点云；随后对特征轨迹和3D点进行亚像素精细化以提高准确性。
• 通过固定每条轨迹的参考节点并进行局部亚像素精细化来 refined 粗轨迹，然后通过再投影误差优化3D点云。
• 在测试时，使用基于Transformer的交叉注意力网络在查询图像与重建点云之间执行粗糙的2D-3D匹配；随后在局部窗口内进行精细的2D-3D匹配，以获得用于PnP的精确对应。
• 在2D-3D匹配中使用自注意力和互注意力并结合线性注意力以建模长距离关系，并在粗阶段应用双softmax以获得鲁棒的对应关系。
• 使用将粗匹配焦点损失与精细2D坐标回归损失结合在一起的联合损失进行训练，采用SfM投影得到的可见2D-3D真实对应。

Figure 1: Comparsion Between Our Method and OnePose [ 48 ] . For low-textured objects that are challenging for OnePose, our method can reconstruct their semi-dense point clouds with more complete geometry and thus achieves more accurate object pose estimation. Green and blue boxes represent ground t

实验结果

研究问题

• RQ1 一个关键点-free的SfM管线是否能够从有限的带姿态标注的参考图像集里重建准确且完整的半稠密3D物体模型，以用于一次性位姿估计？
• RQ2 建立在关键点-free重建之上的稀疏到密集的2D-3D匹配网络，在标准数据集上是否能够实现与CAD模型无关的基线相比更具竞争力或优越的位姿估计精度，甚至接近基于CAD模型的方法？
• RQ3 所提方法是否对关键点法难以处理的低纹理物体具有鲁棒性，并且是否能在未对每个对象进行单独训练的情况下推广到未见对象？
• RQ4 提出的粗到细策略在真实世界的增强现实类场景中如何影响重建的完整性和位姿估计的准确性？

主要发现

• 在OnePose与OnePose-LowTexture数据集上显著超越现有CAD模型-free的一次性方法。
• 在LINEMOD上达到与CAD模型方法相当的结果，在低纹理物体上明显优于基于关键点的方法。
• 该管线相对于某些基线显著更快（例如，在V100上对512x512查询约为88 ms），并通过粗到细的 refinement 提供更准确的半稠密重建。
• 在OnePose-LowTexture上，该方法相比OnePose与HLoc有显著提升，凸显对低纹理区域的鲁棒性。
• 在LINEMOD上，该方法优于其他一次性基线，且在不使用CAD模型或逐对象训练的情况下接近实例级方法的精度。

Figure 2: Overview. 1. For each object, given a reference image sequence $\{\mathbf{I}_{i}\}$ with known object poses $\{\boldsymbol{\xi}_{i}\}$ , our keypoint-free SfM framework reconstructs the semi-dense object point cloud in a coarse-to-fine manner. The coarse reconstruction yields the initial p