[论文解读] One Framework to Register Them All: PointNet Encoding for Point Cloud Alignment

Vinit Sarode, Xue-Qian Li+6 more|arXiv (Cornell University)|Dec 12, 2019

3D Shape Modeling and Analysis参考文献 42被引用 11

一句话总结

该论文提出了一种新颖的、可微分的点云配准框架，利用PointNet编码实现模板点云与源点云的对齐，而无需显式计算对应关系。通过采用带有全连接层或Lucas-Kanade优化的孪生PointNet架构，该方法在噪声和部分数据下表现出高精度与强鲁棒性，在速度上优于ICP和Go-ICP，同时在全局配准场景中达到与Go-ICP相当的精度。

ABSTRACT

PointNet has recently emerged as a popular representation for unstructured point cloud data, allowing application of deep learning to tasks such as object detection, segmentation and shape completion. However, recent works in literature have shown the sensitivity of the PointNet representation to pose misalignment. This paper presents a novel framework that uses PointNet encoding to align point clouds and perform registration for applications such as 3D reconstruction, tracking and pose estimation. We develop a framework that compares PointNet features of template and source point clouds to find the transformation that aligns them accurately. In doing so, we avoid computationally expensive correspondence finding steps, that are central to popular registration methods such as ICP and its variants. Depending on the prior information about the shape of the object formed by the point clouds, our framework can produce approaches that are shape specific or general to unseen shapes. Our framework produces approaches that are robust to noise and initial misalignment in data and work robustly with sparse as well as partial point clouds. We perform extensive simulation and real-world experiments to validate the efficacy of our approach and compare the performance with state-of-art approaches. Code is available at https://github.com/vinits5/pointnet-registrationframework.

研究动机与目标

• 解决PointNet在真实世界点云数据中对姿态错位敏感的问题。
• 开发一种统一的点云配准框架，避免ICP及其变体中昂贵的对应关系计算。
• 通过PointNet学习的先验知识，实现在噪声、部分观测和稀疏数据下的鲁棒配准。
• 提供一种灵活的框架，支持针对特定形状和通用化配准方法的结合。
• 将端到端可微分配准集成到深度学习流水线中，用于后续任务如3D重建和跟踪。

提出的方法

• 采用孪生PointNet架构将模板点云和源点云编码为共享特征向量。
• 通过全连接层或Lucas-Kanade算法回归编码特征之间的变换实现姿态估计。
• 该框架完全可微分，支持端到端训练和GPU加速，无需基于CPU的对应关系计算。
• 通过将变换后的源点云反馈至网络，支持迭代优化以提升对齐精度。
• 在训练过程中引入形状特定先验，以增强对噪声和不完整数据的鲁棒性。
• 该框架支持迭代与非迭代两种变体，在速度与精度之间实现平衡。

实验结果

研究问题

• RQ1 能否利用基于PointNet的特征编码实现高精度与强鲁棒性的无对应关系点云配准？
• RQ2 在训练中引入形状特定先验对噪声或稀疏点云性能的影响如何？
• RQ3 在使用迭代与非迭代框架变体时，计算效率与精度之间的权衡是什么？
• RQ4 与最先进的基于学习的方法和经典配准方法相比，该框架在鲁棒性与速度方面的表现如何？
• RQ5 该框架能否泛化到未见过的物体类别，同时在真实世界数据中保持性能？

主要发现

• 该框架的迭代变体（i-PCRNet）实现了1.03°的旋转误差和0.85×10⁻²单位的平移误差，精度与Go-ICP相当，但计算时间降低了1000倍。
• 非迭代的PCRNet变体平均运行时间为1.89 ms，AUC达到95%，适用于实时预对齐任务。
• 在稀疏数据上训练的i-PCRNet在稀疏测试数据上实现了3.59°的旋转误差，表现出对低点密度的强鲁棒性。
• 在S3DIS数据集的真实室内场景中，i-PCRNet成功通过姿态估计将椅子替换为另一型号，优于ICP和全局配准方法。
• 将PointNet替换为VoxNet的变体VoxReg性能与ICP相当，证实了该框架对不同主干编码器的灵活性。
• 该框架的可微性使其能够无缝集成到端到端深度学习流水线中，而传统非可微方法（如ICP）则不具备此优势。