[论文解读] MVP: Unified Motion and Visual Self-Supervised Learning for Large-Scale Robotic Navigation

Marvin Chancán, Michael Milford|arXiv (Cornell University)|Mar 2, 2020

Robotics and Sensor-Based Localization参考文献 90被引用 8

一句话总结

本文提出MVP，一种统一的自监督框架，将视觉定位（VPR）与运动估计（如视觉或雷达里程计）相结合，实现鲁棒的、大规模机器人导航。通过在强化学习策略中时间融合紧凑的视觉与运动表征，MVP在无GPS条件下的牛津机器人车数据集上实现了93%的成功率，显著优于仅依赖视觉的方法（7%）。

ABSTRACT

Autonomous navigation emerges from both motion and local visual perception in real-world environments. However, most successful robotic motion estimation methods (e.g. VO, SLAM, SfM) and vision systems (e.g. CNN, visual place recognition-VPR) are often separately used for mapping and localization tasks. Conversely, recent reinforcement learning (RL) based methods for visual navigation rely on the quality of GPS data reception, which may not be reliable when directly using it as ground truth across multiple, month-spaced traversals in large environments. In this paper, we propose a novel motion and visual perception approach, dubbed MVP, that unifies these two sensor modalities for large-scale, target-driven navigation tasks. Our MVP-based method can learn faster, and is more accurate and robust to both extreme environmental changes and poor GPS data than corresponding vision-only navigation methods. MVP temporally incorporates compact image representations, obtained using VPR, with optimized motion estimation data, including but not limited to those from VO or optimized radar odometry (RO), to efficiently learn self-supervised navigation policies via RL. We evaluate our method on two large real-world datasets, Oxford Robotcar and Nordland Railway, over a range of weather (e.g. overcast, night, snow, sun, rain, clouds) and seasonal (e.g. winter, spring, fall, summer) conditions using the new CityLearn framework; an interactive environment for efficiently training navigation agents. Our experimental results, on traversals of the Oxford RobotCar dataset with no GPS data, show that MVP can achieve 53% and 93% navigation success rate using VO and RO, respectively, compared to 7% for a vision-only method. We additionally report a trade-off between the RL success rate and the motion estimation precision.

研究动机与目标

• 解决仅依赖视觉导航在大规模、真实环境中因极端视觉与GPS变化带来的局限性。
• 在GPS信号差或缺失以及极端天气/季节变化条件下，提升导航策略的鲁棒性与泛化能力。
• 将运动估计（如VO、RO）与紧凑的VPR特征相结合，以增强基于强化学习的导航性能。
• 证明精确的运动估计可显著提升在复杂、长期路径上的导航成功率。

提出的方法

• 使用基于深度学习的视觉定位（VPR）提取紧凑的图像嵌入，实现长期视觉表征。
• 将运动估计数据（如视觉里程计VO或雷达里程计RO）作为时间输入整合进策略网络。
• 训练一个强化学习（RL）策略，联合处理VPR嵌入与运动估计，实现目标导向导航。
• 利用CityLearn框架，高效地在多样化环境条件下交互式训练导航智能体。
• 设计统一的网络架构，时间融合视觉与运动模态，以提升策略泛化能力。
• 使用两个大规模真实世界数据集（牛津机器人车与诺尔兰铁路）进行评估，涵盖极端天气与季节变化。

实验结果

研究问题

• RQ1 将视觉定位与运动估计结合，是否能提升在大规模、真实环境中GPS信号差的场景下的导航鲁棒性？
• RQ2 在视觉与GPS变化条件下，精确运动数据（如VO、RO）的整合如何影响基于强化学习的导航策略成功率？
• RQ3 在夜间、降雪或厚云覆盖等极端环境条件下，MVP相较于仅依赖视觉的导航系统，性能提升程度如何？
• RQ4 在自监督、目标驱动的导航中，运动估计精度与导航成功率之间存在何种权衡？
• RQ5 MVP能否在经历月度间隔、视觉与环境变化显著的路径中实现良好泛化？

主要发现

• 在无GPS数据的牛津机器人车数据集中，使用雷达里程计（RO）的MVP实现了93%的导航成功率，而仅依赖视觉的方法仅为7%。
• 在GPS信号差的条件下，使用视觉里程计（VO）的MVP实现了53%的成功率，显著优于仅依赖视觉的基线方法。
• 在诺尔兰铁路数据集中，MVP-GPS在冬季条件下实现了94%的成功率，优于仅依赖视觉的智能体的86%成功率。
• 图2右图的权衡分析表明，更高的运动估计精度与更强的RL成功率相关，表明运动数据可提升策略性能。
• 基于MVP的智能体在牛津机器人车数据集的所有路径中均成功导航至远距离目标，包括昼夜转换与阴天转降雪等极端变化，而仅依赖视觉的智能体在类似条件下全部失败。
• 即使GPS数据完全不可用或不可靠，该方法仍保持鲁棒性，证明了运动-视觉融合在长期、大规模导航中的价值。