[论文解读] SpinNet: Learning a General Surface Descriptor for 3D Point Cloud Registration

Sheng Ao, Qingyong Hu+3 more|arXiv (Cornell University)|Nov 24, 2020

3D Surveying and Cultural Heritage参考文献 61被引用 15

一句话总结

SpinNet 提出了一种基于空间点变换器将点云映射到圆柱空间以实现 SO(2) 等变性的旋转不变 3D 局部特征描述子，随后通过基于点的 MLP 和 3D 圆柱卷积进行神经特征提取。该方法在仅使用室内 3DMatch 数据集进行训练的情况下，实现了 SOTA 性能与优越的泛化能力，在未见的室外 ETH 数据集上实现了 92.8% 的特征匹配召回率。

ABSTRACT

Extracting robust and general 3D local features is key to downstream tasks such as point cloud registration and reconstruction. Existing learning-based local descriptors are either sensitive to rotation transformations, or rely on classical handcrafted features which are neither general nor representative. In this paper, we introduce a new, yet conceptually simple, neural architecture, termed SpinNet, to extract local features which are rotationally invariant whilst sufficiently informative to enable accurate registration. A Spatial Point Transformer is first introduced to map the input local surface into a carefully designed cylindrical space, enabling end-to-end optimization with SO(2) equivariant representation. A Neural Feature Extractor which leverages the powerful point-based and 3D cylindrical convolutional neural layers is then utilized to derive a compact and representative descriptor for matching. Extensive experiments on both indoor and outdoor datasets demonstrate that SpinNet outperforms existing state-of-the-art techniques by a large margin. More critically, it has the best generalization ability across unseen scenarios with different sensor modalities. The code is available at https://github.com/QingyongHu/SpinNet.

研究动机与目标

• 解决基于深度学习的点云配准中缺乏旋转不变且可泛化的 3D 局部描述子的问题。
• 消除对点对统计或局部参考系等手工设计特征的依赖，这些特征限制了表征能力。
• 设计一个端到端可训练的网络，在噪声、不完整表面和不同点密度条件下保持局部几何模式。
• 提升在未见传感器模态和环境（如从室内 3DMatch 到室外 ETH 或 KITTI 数据集）下的泛化能力。

提出的方法

• 空间点变换器将输入 3D 点云对齐至参考轴，实现 SO(2) 等变性，降低旋转方差。
• 对 XY 平面应用球形体素化，随后进行坐标变换，进一步消除每个体素中的旋转方差。
• 将变换后的局部表面结构化为适合 3D 圆柱卷积层的 3D 圆柱体积分。
• 基于点的 MLP 提取圆柱体积分中每个体素的初始特征签名，捕捉局部几何细节。
• 一种新型 3D 圆柱卷积网络（3DCCN）在体素间聚合空间与上下文信息，生成紧凑且具代表性的描述子。
• 整个流程端到端训练，实现描述子的真正优化，无需手工设计组件。

实验结果

研究问题

• RQ1 基于深度学习的 3D 局部特征描述子是否能在不依赖外部手工设计特征或局部参考系的情况下实现旋转不变性？
• RQ2 学习到的描述子在具有不同传感器模态和几何分布的未见 3D 数据集上的泛化能力如何？
• RQ3 用学习到的基于点的特征签名替代手工设计的特征（如点密度）是否能提升泛化能力和鲁棒性？
• RQ4 3D 圆柱卷积层在保持空间结构和提升匹配精度方面有何贡献？
• RQ5 空间变换与端到端学习的结合如何提升在已见和未见点云配准任务上的性能？

主要发现

• 在 3DMatch 数据集上，SpinNet 在 0.1cm 阈值下实现 97.6% 的特征匹配召回率（FMR），显著优于先前的 SOTA 方法。
• 在未见的室外 ETH 数据集上，SpinNet 在 τ₁ = 0.1cm 下实现 92.8% 的 FMR，较次佳方法提升 13%。
• 从 3DMatch 泛化到 KITTI 数据集时，SpinNet 实现 69.19% 的成功率，性能超过第二名方法两倍以上。
• 消融实验表明，若移除参考轴对齐或球形体素化变换，性能显著下降，尤其在旋转扫描中表现更差。
• 若将 3D 圆柱卷积层替换为简单 MLP，3DMatch 上 FMR 降至 64.4%，ETH 上则降至 0.0%，证明空间上下文学习的关键作用。
• 使用学习到的基于点的特征签名替代手工点密度可提升泛化能力，当改用点密度时，ETH 上 FMR 降至 42.6%。