[论文解读] RSKDD-Net: Random Sample-based Keypoint Detector and Descriptor

Fan Lü, Guang Chen+3 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Image and Video Retrieval Techniques参考文献 40被引用 29

一句话总结

RSKDD-Net 是一种基于深度学习的方法，用于在大规模点云中高效地进行关键点检测与描述，通过结合随机采样与一种新颖的随机膨胀聚类策略及注意力机制，减轻信息损失。该方法在推理速度上比以往方法快超过15倍，同时实现了最先进（SOTA）的性能表现，采用弱监督匹配损失进行描述子训练。

ABSTRACT

Keypoint detector and descriptor are two main components of point cloud registration. Previous learning-based keypoint detectors rely on saliency estimation for each point or farthest point sample (FPS) for candidate points selection, which are inefficient and not applicable in large scale scenes. This paper proposes Random Sample-based Keypoint Detector and Descriptor Network (RSKDD-Net) for large scale point cloud registration. The key idea is using random sampling to efficiently select candidate points and using a learning-based method to jointly generate keypoints and descriptors. To tackle the information loss of random sampling, we exploit a novel random dilation cluster strategy to enlarge the receptive field of each sampled point and an attention mechanism to aggregate the positions and features of neighbor points. Furthermore, we propose a matching loss to train the descriptor in a weakly supervised manner. Extensive experiments on two large scale outdoor LiDAR datasets show that the proposed RSKDD-Net achieves state-of-the-art performance with more than 15 times faster than existing methods. Our code is available at https://github.com/ispc-lab/RSKDD-Net.

研究动机与目标

• 为解决现有基于学习的关键点检测器依赖显著性估计或最远点采样（FPS）所带来的效率低下问题，这些方法在大规模点云上扩展性差。
• 通过一种新颖的感受野扩展策略，减轻随机采样带来的信息损失，从而提升关键点检测的鲁棒性与性能。
• 以端到端、高效的方式联合学习关键点检测与描述子生成，适用于自动驾驶等实时应用。
• 通过基于软分配的可微匹配损失，实现描述子的弱监督训练，仅需点云对而无需真实对应关系。

提出的方法

• 采用随机采样高效选择候选点，替代计算成本较高的逐点显著性估计或FPS。
• 提出一种新颖的随机膨胀聚类策略，通过基于膨胀的聚类方式聚合远处邻居，扩展每个采样点的感受野。
• 引入注意力机制，聚合邻近点的位置与特征信息，以增强关键点表征并估计显著性不确定性。
• 描述子网络利用聚类特征与注意力图生成鲁棒的描述子以支持匹配。
• 引入基于软分配的匹配损失，以弱监督方式训练描述子，仅使用点云对而无需真实对应关系。
• 网络通过检测与匹配目标的联合优化进行端到端训练，实现关键点检测与描述子学习的联合优化。

实验结果

研究问题

• RQ1 在不造成显著性能下降的前提下，能否有效利用随机采样进行大规模点云中的关键点检测？
• RQ2 如何减轻随机采样导致的信息损失，以维持高精度的关键点检测与描述子性能？
• RQ3 弱监督匹配损失是否能实现有效的描述子学习，而无需依赖真实对应关系？
• RQ4 所提出的随机膨胀聚类策略在可重复性与精度方面是否优于现有聚类或采样方法？
• RQ5 注意力机制与损失设计对描述子泛化能力及配准性能有何影响？

主要发现

• RSKDD-Net 在两个大规模室外 LiDAR 数据集上达到最先进性能，显著优于以往方法，在可重复性与精度方面均表现优异。
• 该网络推理速度比现有基于学习的方法快超过15倍，适用于自动驾驶等实时应用。
• 随机膨胀聚类策略通过显著扩展有效感受野，提升了可重复性与精度，在部分设置下优于 DPC，在其他设置下与 DPC 相当。
• 引入注意力特征图后，所有关键点数量（128、256、512）下的精度均提升约 0.1，证明其在特征聚合方面的有效性。
• 所提出的匹配损失在精度上比 3DFeatNet 中使用的三元组损失高出两倍，表明其在弱监督下具有更优的泛化能力。
• 软分配中的温度超参数 $ t $ 具有显著影响：$ t = 0.5 $ 导致性能较差，而 $ t < 0.1 $ 可获得稳定结果，最优性能在 $ t = 0.1 $ 时达到。