[论文解读] PREDATOR: Registration of 3D Point Clouds with Low Overlap

Shengyu Huang, Žan Gojčič+3 more|arXiv (Cornell University)|Nov 25, 2020

3D Shape Modeling and Analysis参考文献 54被引用 9

一句话总结

Predator 是一种用于 3D 点云配准的深度学习模型，通过使用重叠注意力机制，聚焦于低重叠扫描之间的重叠区域，从而提升特征点的选择与匹配效果。该模型在 3DMatch 基准测试中实现了 90.6% 的配准召回率，并在低重叠场景下将成功率提升了超过 15 个百分点。

ABSTRACT

We introduce PREDATOR, a model for pairwise point-cloud registration with deep attention to the overlap region. Different from previous work, our model is specifically designed to handle (also) point-cloud pairs with low overlap. Its key novelty is an overlap-attention block for early information exchange between the latent encodings of the two point clouds. In this way the subsequent decoding of the latent representations into per-point features is conditioned on the respective other point cloud, and thus can predict which points are not only salient, but also lie in the overlap region between the two point clouds. The ability to focus on points that are relevant for matching greatly improves performance: PREDATOR raises the rate of successful registrations by more than 20% in the low-overlap scenario, and also sets a new state of the art for the 3DMatch benchmark with 89% registration recall.

研究动机与目标

• 解决现有 3D 点云配准方法在扫描重叠率低于 30% 时鲁棒性不足的问题。
• 探究为何当前 SOTA 方法在标准基准测试中表现优异，但在低重叠场景下仍会失效。
• 设计一种神经架构，显式建模并聚焦于两组点云之间的重叠区域，以提升特征学习效果。
• 通过引入跨云上下文条件，优化特征点采样策略，优先选择显著且重叠的点。
• 提出一种新型损失函数，用于训练可匹配性分数，以增强关键点的重复性和区分度。

提出的方法

• 采用孪生编码器，从体素化输入点云中提取超点级别的潜在特征。
• 引入重叠注意力模块，对两组点云的潜在表示进行自注意力和交叉注意力计算。
• 利用重叠注意力模块生成重叠分数与交叉重叠分数，实现在早期阶段的上下文信息交换。
• 将解码器同时基于潜在特征与重叠感知表示进行条件化，以生成每个点的特征描述子。
• 采用新型损失函数进行模型训练，通过优化可匹配性分数来引导关键点选择。
• 通过引入另一组点云的表示作为条件，进一步优化特征描述子，提升在低重叠场景下的鲁棒性。

Figure 1: Predator is designed to focus attention on the overlap region, and to prefer salient points in that region, so as to enable robust registration in spite of low overlap.

实验结果

研究问题

• RQ1 为何当前 SOTA 的 3D 点云配准方法在标准基准测试中表现优异，但在低重叠场景下仍会失效？
• RQ2 在点云编码之间引入早期交叉注意力是否能提升低重叠场景下的配准鲁棒性？
• RQ3 将特征点采样聚焦于重叠区域是否能显著提升配准成功率？
• RQ4 一种可学习的注意力机制，若能建模重叠区域，是否能提升特征描述子的质量与可匹配性？
• RQ5 在低重叠与真实世界场景下，该方法相较于直接配准与基于特征的方法表现如何？

主要发现

• 与现有方法相比，Predator 在低重叠场景下将配准召回率提升了超过 15 个百分点。
• 该模型在 3DMatch 基准上达到新的 SOTA 水平，配准召回率达到 90.6%。
• 重叠注意力机制显著提升了从重叠区域采样点的比例，在低重叠设置下将失败率降低了超过 40 个百分点。
• 在 ModelNet 与 ModelLoNet 数据集上，Predator 在低重叠场景下优于 DCP-v2 与 RPM-Net，旋转与平移误差更低。
• 使用重叠注意力进行点采样（概率 (om)）的效果显著优于随机采样，在 40% 完整度下将 RRE 降低了约 8°。
• 在 KITTI 轨迹数据集上，Predator 表现与 SOTA 方法相当，实现了 99.8% 的配准召回率与 6.8 cm 的平均平移误差。

Figure 2: Registration with SoTA methods deteriorates rapidly for pairs with $<$ 30% overlap ( left ). By increasing the fraction of points sampled in the overlap region, many failures can be avoided as shown here for FCGF [ 9 ] ( right ).