[论文解读] PointDSC: Robust Point Cloud Registration using Deep Spatial Consistency

Xuyang Bai, Zixin Luo+6 more|arXiv (Cornell University)|Mar 9, 2021

3D Surveying and Cultural Heritage参考文献 76被引用 17

一句话总结

PointDSC 提出了一种深度学习框架，通过新颖的非局部特征聚合模块和可微分谱匹配模块显式建模空间一致性，实现了鲁棒的3D点云配准。该方法在真实世界数据集上取得了最先进性能，显著优于现有的基于学习和手工设计的异常值剔除方法，尤其在高异常值比例和小重叠率条件下表现突出。

ABSTRACT

Removing outlier correspondences is one of the critical steps for successful feature-based point cloud registration. Despite the increasing popularity of introducing deep learning methods in this field, spatial consistency, which is essentially established by a Euclidean transformation between point clouds, has received almost no individual attention in existing learning frameworks. In this paper, we present PointDSC, a novel deep neural network that explicitly incorporates spatial consistency for pruning outlier correspondences. First, we propose a nonlocal feature aggregation module, weighted by both feature and spatial coherence, for feature embedding of the input correspondences. Second, we formulate a differentiable spectral matching module, supervised by pairwise spatial compatibility, to estimate the inlier confidence of each correspondence from the embedded features. With modest computation cost, our method outperforms the state-of-the-art hand-crafted and learning-based outlier rejection approaches on several real-world datasets by a significant margin. We also show its wide applicability by combining PointDSC with different 3D local descriptors.

研究动机与目标

• 为解决基于特征的3D点云配准中高异常值比例带来的挑战，传统方法因内点簇主导性差而失效。
• 克服现有基于学习的方法在特征嵌入和异常值分类过程中忽略空间一致性的局限。
• 将几何约束——特别是刚性变换下的空间一致性——整合到深度神经网络中，以实现更鲁棒的异常值剔除。
• 开发一种在室内和室外场景中均具有良好泛化能力的方法，并能与各种3D局部描述符无缝配合。
• 通过引入学习到的几何特征和种子机制，提升高噪声环境下谱匹配的鲁棒性。

提出的方法

• 提出一种基于空间一致性的非局部（SCNonlocal）模块，利用特征相似性和空间一致性（刚性变换下的长度一致性）来加权特征相关性。
• 引入一种可微分神经谱匹配（NSM）模块，用深度几何特征替代传统的基于长度的兼容性，实现端到端训练。
• 采用种子机制识别可靠对应关系，并生成多个子集用于迭代NSM，从而在高异常值比例下提升内点簇检测能力。
• 利用嵌入特征与空间一致性构建的兼容性图，执行谱聚类以估计内点集合。
• 通过成对空间兼容性损失（$L_{sm}$）监督NSM模块，使网络能够从几何一致性中学习内点置信度。
• 在两阶段流程中结合SCNonlocal与NSM模块：第一阶段通过空间感知聚合进行特征嵌入；第二阶段通过谱分析实现可微分异常值剔除。

实验结果

研究问题

• RQ1 在深度网络中显式建模空间一致性是否能提升3D点云配准中异常值剔除的鲁棒性？
• RQ2 将几何约束（刚性变换一致性）融入特征嵌入过程，如何增强对应匹配的表征学习能力？
• RQ3 在高异常值比例下，可微分谱匹配模块在多大程度上优于传统SM和端到端学习方法？
• RQ4 所提出的种子机制是否能提升小重叠率和高噪声配准场景下的性能？
• RQ5 该方法是否能在多样化数据集上实现良好泛化，并有效适配多种3D局部描述符？

主要发现

• PointDSC 在3DMatch数据集上实现了93.28%的配准召回率（RR）和82.35%的F1分数，分别优于之前最先进方法（DGR）5.1%和5.2%。
• 当与NSM模块结合时，SCNonlocal模块相比基线PointCN将RR提升4.89%，F1提升7.31%。
• 引入神经特征一致性的NSM模块使传统SM的RR提升1.86%，F1提升0.67%，证明了学习到的几何特征的优势。
• 与非种子NSM相比，种子机制使RR提升4.48%，F1提升33.47%，证实其在高异常值环境下的有效性。
• 训练过程中移除$L_{sm}$损失会使F1分数降至81.58%，证实了通过空间兼容性进行监督的重要性。
• 定性结果表明，PointDSC在95%异常值比例下仍能成功剔除异常值，而RANSAC-100k在此极端情况下完全失效。