[论文解读] RIGA: Rotation-Invariant and Globally-Aware Descriptors for Point Cloud Registration

Hao Yu, Ji Hou+6 more|arXiv (Cornell University)|Sep 27, 2022

3D Surveying and Cultural Heritage被引用 5

一句话总结

RIGA 提出了一种新颖的点云配准神经描述子，具有固有的旋转不变性与全局感知能力，通过利用点对特征（PPFs）的旋转不变局部几何信息，并借助视觉Transformer（Vision Transformer）整合全局结构与上下文信息。该方法在SOTA性能上实现突破，在大旋转条件下于ModelNet40上将相对旋转误差降低8°，并在3DLoMatch上将特征匹配召回率提升至少5个百分点。

ABSTRACT

Successful point cloud registration relies on accurate correspondences established upon powerful descriptors. However, existing neural descriptors either leverage a rotation-variant backbone whose performance declines under large rotations, or encode local geometry that is less distinctive. To address this issue, we introduce RIGA to learn descriptors that are Rotation-Invariant by design and Globally-Aware. From the Point Pair Features (PPFs) of sparse local regions, rotation-invariant local geometry is encoded into geometric descriptors. Global awareness of 3D structures and geometric context is subsequently incorporated, both in a rotation-invariant fashion. More specifically, 3D structures of the whole frame are first represented by our global PPF signatures, from which structural descriptors are learned to help geometric descriptors sense the 3D world beyond local regions. Geometric context from the whole scene is then globally aggregated into descriptors. Finally, the description of sparse regions is interpolated to dense point descriptors, from which correspondences are extracted for registration. To validate our approach, we conduct extensive experiments on both object- and scene-level data. With large rotations, RIGA surpasses the state-of-the-art methods by a margin of 8\degree in terms of the Relative Rotation Error on ModelNet40 and improves the Feature Matching Recall by at least 5 percentage points on 3DLoMatch.

研究动机与目标

• 解决现有神经描述子因旋转相关骨干网络导致在大旋转下性能下降的局限性。
• 通过引入超越局部几何的全局3D结构上下文，提升描述子的区分度。
• 通过支持粗到细的对应匹配，缓解稀疏采样中的重复性问题，提升描述子的鲁棒性。
• 设计一种对任意旋转保持不变性，同时保持高判别能力的描述子。
• 在具有挑战性的旋转条件下，于物体级与场景级基准上实现更优的配准性能。

提出的方法

• 从点云中提取稀疏局部区域，并计算点对特征（PPFs）以表示局部几何。
• 应用旋转不变编码模块，将PPFs转换为旋转不变的局部几何描述子。
• 构建全局PPF特征表示，以表征点云的整体3D结构，实现全局结构感知。
• 利用视觉Transformer（ViT）从全局PPF特征中学习结构化描述子，将全局上下文注入局部描述子。
• 通过ViT编码器中的自注意力机制，将场景级几何上下文全局聚合到局部描述子中。
• 将稀疏描述子插值为密集点描述子，以支持在粗到细配准流程中实现高效可靠的对应匹配。

Figure 1: Feature Matching Recall (FMR) on 3DLoMatch [ 2 ] (x-axis) and Rotated 3DLoMatch (y-axis). Methods that only encode local geometry are marked as blue, while approaches with global awareness are drawn in red. The performance drop from the original (x-axis) to the rotated (y-axis) benchmark f

实验结果

研究问题

• RQ1 能否设计一种神经描述子，使其本身具备旋转不变性，同时保持高判别能力？
• RQ2 引入全局结构与上下文信息在多大程度上提升了描述子在大旋转条件下的鲁棒性？
• RQ3 与纯局部方法相比，全局感知在多大程度上减少了在旋转基准上的性能退化？
• RQ4 旋转不变、全局感知的描述子能否在物体级与场景级配准任务中均超越SOTA方法？
• RQ5 在真实LiDAR数据中常见的法向估计质量较差的情况下，所提出描述子的鲁棒性如何？

主要发现

• 在ModelNet40的大旋转设置下，RIGA相比SOTA方法将相对旋转误差降低了8°。
• 在3DLoMatch上，RIGA即使在旋转测试条件下，也将特征匹配召回率提升了至少5个百分点。
• 在KITTI数据集上，RIGA实现了99.1%的配准召回率，尽管采用计算成本更高的ViT架构，仍优于大多数基线方法。
• 该方法在旋转后的3DLoMatch上仅出现0.6%的性能下降，是所有对比方法中最小的，证明了其卓越的旋转鲁棒性。
• 即使在户外KITTI扫描中法向估计质量较差的情况下，RIGA在所有指标上仍保持与SOTA方法相当的性能。
• 消融实验表明，全局结构编码与全局上下文聚合均对性能提升有显著贡献，其中基于ViT的注意力机制在上下文整合中起关键作用。

Figure 2: Illustration of the Inherent Rotational Invariance and Distinctiveness of RIGA. In (a), an arbitrary rotation is applied to the input scan. 1) Rotational Invariance : In (b), (c) and (d), local, global and point descriptors from untrained RIGA are visualized by t-SNE [ 5 ] , respectively.