[论文解读] StickyPillars: Robust and Efficient Feature Matching on Point Clouds using Graph Neural Networks

Kai Fischer, Martín Simón+4 more|arXiv (Cornell University)|Feb 10, 2020

Robotics and Sensor-Based Localization参考文献 63被引用 7

一句话总结

StickyPillars 提出了一种快速、鲁棒且精确的三维特征匹配方法，利用基于 Transformer 的自注意力与交叉注意力机制进行上下文特征聚合，结合最优传输算法实现匹配。该方法在 KITTI 数据集上实现了最先进（SOTA）的精度表现，同时推理速度比领先的深度学习方法快四倍，并在帧丢失和高速运动条件下保持了高度稳定性。

ABSTRACT

Robust point cloud registration in real-time is an important prerequisite for many mapping and localization algorithms. Traditional methods like ICP tend to fail without good initialization, insufficient overlap or in the presence of dynamic objects. Modern deep learning based registration approaches present much better results, but suffer from a heavy run-time. We overcome these drawbacks by introducing StickyPillars, a fast, accurate and extremely robust deep middle-end 3D feature matching method on point clouds. It uses graph neural networks and performs context aggregation on sparse 3D key-points with the aid of transformer based multi-head self and cross-attention. The network output is used as the cost for an optimal transport problem whose solution yields the final matching probabilities. The system does not rely on hand crafted feature descriptors or heuristic matching strategies. We present state-of-art art accuracy results on the registration problem demonstrated on the KITTI dataset while being four times faster then leading deep methods. Furthermore, we integrate our matching system into a LiDAR odometry pipeline yielding most accurate results on the KITTI odometry dataset. Finally, we demonstrate robustness on KITTI odometry. Our method remains stable in accuracy where state-of-the-art procedures fail on frame drops and higher speeds.

研究动机与目标

• 解决传统 ICP 方法与基于启发式的方法在点云配准中的局限性，特别是在初始化不佳、重叠率低或动态环境下的表现问题。
• 克服现有基于深度学习的配准方法推理延迟过高的问题，同时保持或提升精度。
• 开发一种基于深度学习的中端特征匹配系统，使其在帧丢失与高速运动等复杂现实条件下的鲁棒性更强。
• 将匹配系统集成至 LiDAR 惯性里程计（odometry）流水线中，以提升整体定位精度与稳定性。
• 证明通过注意力机制与最优传输端到端学习特征对应关系，可超越手工设计的描述子与启发式匹配方法。

提出的方法

• 使用图神经网络（GNN）从点云中编码稀疏三维关键点特征，实现局部与全局上下文信息的聚合。
• 应用多头自注意力与交叉注意力机制，建模长距离依赖关系，并提升关键点邻域内特征的判别能力。
• 将特征匹配问题建模为最优传输（OT）问题，其中 GNN 输出作为成本矩阵，用于计算概率性对应关系。
• 通过可微分的最优传输实现端到端的特征匹配学习，避免依赖手工设计的描述子或后处理启发式规则。
• 设计三阶段流水线：点云编码器 → 基于注意力的图网络 → 基于最优传输的匹配模块。
• 将匹配模块集成至 LiDAR 惯性里程计系统中，实现在 KITTI 基准测试上的实时、高精度位姿估计。

实验结果

研究问题

• RQ1 与传统或启发式方法相比，可学习的基于注意力的图神经网络是否能提升点云配准中特征匹配的鲁棒性？
• RQ2 基于 GNN 的特征匹配系统在多大程度上可降低运行时间，同时在真实世界三维配准基准上保持或提升精度？
• RQ3 在帧丢失、高速运动或点云重叠率低等挑战性条件下，所提方法的表现如何？
• RQ4 将最优传输与学习到的 GNN 特征结合，是否能在精度与效率两方面超越现有基于深度学习的配准方法？
• RQ5 StickyPillars 中基于注意力的上下文聚合是否能提升动态或杂乱环境下的对应关系可靠性与稳定性？

主要发现

• StickyPillars 在 KITTI 惯性里程计数据集上实现了最先进精度，旋转误差（r_rel）优于领先方法，平移误差（t_rel）达到最佳水平。
• 该方法运行速度比当前领先的基于深度学习的配准方法快四倍，可在 10–15 Hz 的 LiDAR 传感器上实现实时性能。
• 在帧丢失场景（如每第五帧缺失）下，StickyPillars 保持高精度与稳定性，平均旋转误差为 0.84°，平移误差为 0.30m，显著优于存在帧间隙的 A-LOAM 方法。
• 当集成至 LiDAR 惯性里程计流水线后，StickyPillars 将平均旋转误差降低至 0.82°，平移误差降低至 0.30m，超越 A-LOAM 及其他 SOTA 方法。
• 该方法在高速运动与低重叠条件下表现出鲁棒性，能在传统方法因不稳定而失效时仍保持准确的位姿估计。
• 消融实验证实，结合自注意力与交叉注意力的 GNN 及最优传输机制，相比基线架构与损失函数，可实现更优的匹配质量。