[论文解读] Robust Partial-to-Partial Point Cloud Registration in a Full Range

Liang Pan, Zhongang Cai+1 more|arXiv (Cornell University)|Nov 30, 2021

3D Shape Modeling and Analysis参考文献 66被引用 13

一句话总结

该论文提出GMCNet，一种新颖的基于图的深度学习框架，用于在全范围变换（SE(3)）下实现鲁棒的局部到局部点云配准。该方法引入了旋转不变特征与噪声鲁棒空间坐标的姿态不变特征学习机制，通过变换鲁棒点Transformer（TPT）和分层图建模（HGM），在无需真实对应关系或跨上下文监督的情况下，在合成数据集（ModelNet40）和真实世界数据集（MVP-RG）上均实现了最先进性能。

ABSTRACT

Point cloud registration for 3D objects is a challenging task due to sparse and noisy measurements, incomplete observations and large transformations. In this work, we propose extbf{G}raph extbf{M}atching extbf{C}onsensus extbf{Net}work ( extbf{GMCNet}), which estimates pose-invariant correspondences for full-range Partial-to-Partial point cloud Registration (PPR) in the object-level registration scenario. To encode robust point descriptors, extbf{1)} we first comprehensively investigate transformation-robustness and noise-resilience of various geometric features. extbf{2)} Then, we employ a novel {T}ransformation-robust {P}oint {T}ransformer ( extbf{TPT}) module to adaptively aggregate local features regarding the structural relations, which takes advantage from both handcrafted rotation-invariant ({ extit{RI}}) features and noise-resilient spatial coordinates. extbf{3)} Based on a synergy of hierarchical graph networks and graphical modeling, we propose the {H}ierarchical {G}raphical {M}odeling ( extbf{HGM}) architecture to encode robust descriptors consisting of i) a unary term learned from { extit{RI}} features; and ii) multiple smoothness terms encoded from neighboring point relations at different scales through our TPT modules. Moreover, we construct a challenging PPR dataset ( extbf{MVP-RG}) based on the recent MVP dataset that features high-quality scans. Extensive experiments show that GMCNet outperforms previous state-of-the-art methods for PPR. Notably, GMCNet encodes point descriptors for each point cloud individually without using cross-contextual information, or ground truth correspondences for training. Our code and datasets are available at: https://github.com/paul007pl/GMCNet.

研究动机与目标

• 解决在真实场景中存在噪声和不完整观测时，面对任意大范围变换（SE(3)）的局部到局部点云配准（PPR）挑战。
• 开发一种无需依赖真实对应关系或源点云与目标点云之间跨上下文信息的方法，以学习鲁棒的、姿态不变的点描述符。
• 探究手工设计的几何特征（如PPF、FPFH、RRI）在旋转不变性与噪声鲁棒性之间的权衡，以用于3D配准。
• 建立一个新的基准数据集MVP-RG，包含来自多样化视角的高质量、基于视角的局部扫描，以更好地评估全范围PPR。
• 在噪声、部分性及大变换等挑战性条件下，实现在合成与真实世界PPR基准上的最先进性能。

提出的方法

• 提出一种新颖的变换鲁棒点Transformer（TPT）模块，通过自适应聚合局部特征，结合旋转不变（RI）几何特征与噪声鲁棒空间坐标，提升对大变换和噪声的鲁棒性。
• 引入分层图建模（HGM），一种基于图的架构，通过TPT模块在不同尺度上编码来自RI特征的单变量项和来自邻近点关系的多个平滑项，以生成鲁棒描述符。
• 使用K-NN图建模局部邻域结构，增强在缺乏显式对应关系监督下的特征可区分性。
• 结合分层图网络与图建模，捕捉长距离结构依赖关系，提升局部到局部配准中的对应关系估计性能。
• 采用端到端训练方式，仅使用点云数据进行训练，无需对应对监督，依赖自监督几何一致性。
• 从MVP基准构建MVP-RG数据集，利用多视角的高质量扫描模拟真实的局部到局部配准场景。

实验结果

研究问题

• RQ1 手工设计的旋转不变（RI）特征（如PPF、FPFH、RRI）在任意SE(3)变换和随机噪声下的鲁棒性如何比较？
• RQ2 可学习的特征聚合模块（TPT）能否有效结合RI特征与空间坐标，以提升全范围PPR中的鲁棒性？
• RQ3 在无真实对应关系的情况下，分层图建模方法（HGM）在局部到局部配准中能多大程度上改善对应关系估计？
• RQ4 与现有最先进方法相比，GMCNet在真实世界、噪声大、基于视角的局部点云数据上的表现如何？
• RQ5 在无显式对应关系监督的情况下，GMCNet能否泛化到高噪声、部分性及大变换的挑战性PPR场景？

主要发现

• 在MVP-RG数据集上，GMCNet实现16.57°的旋转误差、0.174的平移误差和0.246的RMSE，优于所有先前的SOTA方法，包括DCP、IDAM、RPMNet和DeepGMR。
• 在ModelNet40（干净）上，GMCNet实现14.69°的旋转误差、0.149的平移误差和0.159的RMSE，显著优于RANSAC（400万次迭代）的14.69°、0.149、0.159，以及其他SOTA方法。
• 消融实验表明，TPT与HGM组件至关重要：若移除RI特征，在大变换下训练将失败；而K-NN图与TPT模块逐步提升性能。
• GMCNet在ModelNet40（干净）和MVP-RG上几乎解决了所有PPR案例，仅在最嘈杂的局部扫描中表现略逊于先前方法，但仍优于它们。
• 研究表明，尽管RI特征在噪声下存在不一致性，但通过抖动增强与鲁棒特征学习的结合，仍能提供稳定的几何线索。
• 所提出的MVP-RG数据集有效捕捉了真实世界中局部、噪声大、基于视角扫描的挑战，为全范围PPR方法提供了公平且真实的评估环境。