[论文解读] Under the Radar: Learning to Predict Robust Keypoints for Odometry Estimation and Metric Localisation in Radar

Dan Barnes, Ingmar Posner|arXiv (Cornell University)|Jan 29, 2020

Robotics and Sensor-Based Localization参考文献 22被引用 16

一句话总结

本论文提出一种自监督、可微分的框架，通过仅以姿态误差作为监督信号，端到端训练，学习鲁棒的雷达关键点，用于里程计和度量定位。通过集成可微分的基于点的运动估计算法，该方法联合优化关键点位置、得分和描述符，在牛津雷达RobotCar数据集的280公里真实世界雷达数据上，将里程计误差降低了45%，并实现了实时度量回环检测。

ABSTRACT

This paper presents a self-supervised framework for learning to detect robust keypoints for odometry estimation and metric localisation in radar. By embedding a differentiable point-based motion estimator inside our architecture, we learn keypoint locations, scores and descriptors from localisation error alone. This approach avoids imposing any assumption on what makes a robust keypoint and crucially allows them to be optimised for our application. Furthermore the architecture is sensor agnostic and can be applied to most modalities. We run experiments on 280km of real world driving from the Oxford Radar RobotCar Dataset and improve on the state-of-the-art in point-based radar odometry, reducing errors by up to 45% whilst running an order of magnitude faster, simultaneously solving metric loop closures. Combining these outputs, we provide a framework capable of full mapping and localisation with radar in urban environments.

研究动机与目标

• 解决雷达自主导航中不可靠且手工设计的关键点问题。
• 通过直接在定位误差上进行训练，消除对代理监督（如重复性或单应性）的依赖。
• 开发一种与传感器无关的可微分架构，联合学习雷达的关键点位置、得分和描述符。
• 在复杂城市雷达环境中实现完整的度量定位，并具备鲁棒的回环检测能力。
• 在保持实时推理速度的同时，实现基于点的雷达里程计的最先进性能。

提出的方法

• 该框架在CNN架构中嵌入可微分的基于点的运动估计算法，以实现姿态估计过程中的反向传播。
• 关键点位置通过每个单元上的空间Softmax预测，400个关键点受单元大小约束。
• 关键点得分通过Sigmoid激活的逐点卷积预测，实现匹配的置信度加权。
• 通过拼接多尺度特征图并重采样至输入分辨率，生成密集的每像素表示描述符。
• 整个网络仅使用里程计误差作为监督进行训练，真实姿态通过连续扫描自动生成。
• 通过余弦相似度比较学习到的嵌入来检测回环，并使用KDTree实现高效检索。

实验结果

研究问题

• RQ1 是否能够通过自监督、端到端可微分架构，在不依赖代理监督的情况下学习到鲁棒的雷达关键点？
• RQ2 是否能够仅以姿态误差作为监督，联合优化关键点检测、得分和描述符学习，以实现里程计和定位？
• RQ3 所提出的方法是否在基于点的雷达里程计中优于现有最先进方法，同时实现度量回环检测？
• RQ4 所学习的关键点是否能在多样化的城市环境中泛化，并有效处理雷达特有的噪声和伪影？
• RQ5 该框架是否适用于雷达以外的其他传感器模态？

主要发现

• 与牛津雷达RobotCar数据集上的最先进方法相比，该方法将里程计误差降低了最多45%。
• 系统运行速度比先前方法快一个数量级，同时保持了更高的精度。
• 所学习的描述符实现了鲁棒的度量回环检测，定性结果表明在同一路线的不同遍历中均能正确检测回环。
• 仅使用里程计误差进行训练，其泛化性能优于使用NetVLAD进行微调，如图5所示，其场景识别召回率更优。
• 该架构与传感器无关，仅需极少修改即可适配其他模态。
• 使用g2o进行姿态图优化，可在远超实时的速度下生成完全优化的地图，证明了整个系统的可行性。