[论文解读] Robust Point Cloud Registration Framework Based on Deep Graph Matching

Kexue Fu, Shaolei Liu+2 more|arXiv (Cornell University)|Mar 7, 2021

Graph Theory and Algorithms参考文献 42被引用 15

一句话总结

本文提出RGM，一种用于鲁棒点云配准的新型深度图匹配框架，可在高 outlier 比例和初始化不佳的情况下提升对应点匹配的准确性。通过从点云构建图，并利用可学习的 AIS 模块在保持结构拓扑的同时匹配节点特征，RGM 在干净、噪声、部分对部分以及未见类别点云上均实现了最先进性能，部分对部分数据的成功率超过90%，且对未见类别的泛化能力更优。

ABSTRACT

3D point cloud registration is a fundamental problem in computer vision and robotics. There has been extensive research in this area, but existing methods meet great challenges in situations with a large proportion of outliers and time constraints, but without good transformation initialization. Recently, a series of learning-based algorithms have been introduced and show advantages in speed. Many of them are based on correspondences between the two point clouds, so they do not rely on transformation initialization. However, these learning-based methods are sensitive to outliers, which lead to more incorrect correspondences. In this paper, we propose a novel deep graph matchingbased framework for point cloud registration. Specifically, we first transform point clouds into graphs and extract deep features for each point. Then, we develop a module based on deep graph matching to calculate a soft correspondence matrix. By using graph matching, not only the local geometry of each point but also its structure and topology in a larger range are considered in establishing correspondences, so that more correct correspondences are found. We train the network with a loss directly defined on the correspondences, and in the test stage the soft correspondences are transformed into hard one-to-one correspondences so that registration can be performed by singular value decomposition. Furthermore, we introduce a transformer-based method to generate edges for graph construction, which further improves the quality of the correspondences. Extensive experiments on registering clean, noisy, partial-to-partial and unseen category point clouds show that the proposed method achieves state-of-the-art performance. The code will be made publicly available at https://github.com/fukexue/RGM.

研究动机与目标

• 解决在高 outlier 比例和初始变换不佳条件下的点云配准挑战。
• 通过利用超越局部几何的高阶结构与拓扑信息，提升对应点匹配的准确性。
• 开发一种端到端可训练的框架，无需初始变换。
• 通过改进特征表示与图构建，增强对未见形状类别的泛化能力。
• 引入基于 Transformer 的边生成器，以在配准中获得更具意义的图拓扑结构。

提出的方法

• 使用可学习的基于 Transformer 的边生成器将输入点云转换为图，以定义结构连接关系。
• 基于邻近点，使用基于点的特征编码器为每个点提取深层局部特征。
• 通过图神经网络层将节点特征与图结构嵌入到联合特征空间中。
• 实现 AIS 模块——包含亲和力层、实例归一化和 Sinkhorn 层——通过可微图匹配计算软对应矩阵。
• 使用预测软对应与真实对应之间的二元交叉熵损失进行网络训练。
• 使用匈牙利算法将软对应转换为一对一硬对应，并通过 SVD 计算最终刚性变换。

实验结果

研究问题

• RQ1 与直接特征匹配相比，深度图匹配是否能在高 outlier 比例下提升点云配准的对应点准确性？
• RQ2 在图表示中引入结构与拓扑上下文，如何增强对噪声和部分重叠的鲁棒性？
• RQ3 基于 Transformer 的可学习边生成器在图构建中是否优于 k-NN 或全连接等固定连接方法？
• RQ4 该框架在无需微调的情况下，对未见形状类别的泛化程度如何？
• RQ5 与更简单的对应预测机制相比，AIS 模块在鲁棒性与准确性方面表现如何？

主要发现

• RGM 在部分对部分点云配准中实现了超过90%的成功率，显著优于 RPM-Net 及其他基于学习的基线方法。
• 在未见类别点云上，RGM 保持了强大的泛化性能，而其他基于学习的方法则未能有效泛化。
• 消融研究证实，AIS 模块相比其变体可将对应点准确性提升 20–30 个百分点，证明了结构化图匹配的重要性。
• 将基于 Transformer 的边生成器替换为全连接边会降低性能，证明学习到的拓扑结构能提升对应质量。
• 定性结果表明，RGM 生成的正确对应点显著更多（例如，85% 正确 vs. 50% 在变体中），尤其在复杂或部分区域表现更优。
• 该方法在所有基准测试中均实现了最先进性能，涵盖干净、噪声、部分对部分以及未见类别设置。