[论文解读] StickyPillars: Robust feature matching on point clouds using Graph Neural Networks

Martín Simón, Kai Fischer+3 more|arXiv (Cornell University)|Feb 10, 2020

Robotics and Sensor-Based Localization参考文献 30被引用 6

一句话总结

StickyPillars 提出了一种基于图神经网络与基于 Transformer 的自注意力和交叉注意力机制的快速、精确且鲁棒的 3D 特征匹配方法，用于点云处理，通过聚合稀疏 3D 关键点周围的上下文信息实现。该方法将特征匹配建模为最优传输问题，在 KITTI 数据集上实现了最先进水平的精度，其速度比领先的深度学习方法快四倍，同时在帧丢失和高速运动条件下仍保持稳定性。

ABSTRACT

Robust point cloud registration in real-time is an important prerequisite for many mapping and localization algorithms. Traditional methods like ICP tend to fail without good initialization, insufficient overlap or in the presence of dynamic objects. Modern deep learning based registration approaches present much better results, but suffer from a heavy run-time. We overcome these drawbacks by introducing StickyPillars, a fast, accurate and extremely robust deep middle-end 3D feature matching method on point clouds. It uses graph neural networks and performs context aggregation on sparse 3D key-points with the aid of transformer based multi-head self and cross-attention. The network output is used as the cost for an optimal transport problem whose solution yields the final matching probabilities. The system does not rely on hand crafted feature descriptors or heuristic matching strategies. We present state-of-art art accuracy results on the registration problem demonstrated on the KITTI dataset while being four times faster then leading deep methods. Furthermore, we integrate our matching system into a LiDAR odometry pipeline yielding most accurate results on the KITTI odometry dataset. Finally, we demonstrate robustness on KITTI odometry. Our method remains stable in accuracy where state-of-the-art procedures fail on frame drops and higher speeds.

研究动机与目标

• 为解决传统 ICP 方法与基于深度学习的配准方法的局限性，这些方法通常在缺乏良好初始化时失效，运行时间高，或在动态条件下性能下降。
• 开发一种鲁棒、实时的中间层 3D 点云特征匹配系统，不依赖手工设计的描述符或启发式匹配策略。
• 通过将新型特征匹配模块集成到完整流水线中，提升 LiDAR 里程计的精度与效率。
• 确保在帧丢失和高速运动等挑战性条件下保持稳定性，而当前最先进方法在此类条件下会失效。

提出的方法

• 该方法利用图神经网络对从点云中提取的稀疏 3D 关键点进行上下文聚合。
• 采用基于 Transformer 的多头自注意力与交叉注意力机制，建模关键点之间的长距离依赖关系与关联。
• 将网络输出用作最优传输问题的成本矩阵，以计算最终的匹配概率。
• 通过端到端学习特征表示与可微传输机制，避免使用手工设计的描述符与启发式匹配策略。
• 该架构设计注重效率，支持在大规模 3D 数据上实现实时推理。
• 将该方法集成到 LiDAR 里程计流水线中，以在真实世界序列上评估性能。

实验结果

研究问题

• RQ1 基于深度学习的特征匹配方法是否能在 3D 点云配准中同时实现高精度与实时性能？
• RQ2 所提出的注意力增强图神经网络在初始化不良或重叠率低的情况下，与现有方法相比是否更具鲁棒性？
• RQ3 与启发式匹配策略相比，最优传输公式在多大程度上提升了匹配的可靠性？
• RQ4 在真实 LiDAR 序列中，面对帧丢失与高速运动等挑战性条件，该方法能否保持精度？

主要发现

• StickyPillars 在 KITTI 点云配准基准上实现了最先进水平的精度。
• 该方法比领先的基于深度学习的配准方法快四倍，同时保持了更优的精度。
• 当集成到 LiDAR 里程计流水线中时，StickyPillars 在 KITTI 里程计数据集上取得了最精确的结果。
• 在帧丢失与高速运动条件下，系统仍保持稳定与精确，而当前最先进方法在此类条件下会失效。
• 使用自注意力与交叉注意力机制的图神经网络能够实现鲁棒的上下文聚合，且不依赖手工设计的特征。
• 最优传输公式能有效从学习到的特征代价中计算出可靠的匹配概率。