[论文解读] Visual Memory for Robust Path Following

Ashish Kumar, Saurabh Gupta+3 more|arXiv (Cornell University)|Dec 3, 2018

Human Motion and Animation被引用 32

一句话总结

本文提出了一种可学习的视觉记忆框架，用于在动态环境和存在噪声的执行条件下实现鲁棒的路径跟踪。该方法采用端到端训练的双网络系统：一个网络从示范图像中抽象出路径，另一个网络利用该抽象进行导航控制，在环境变化和执行噪声条件下均优于经典方法和基于学习的基线方法，实现了更优的路径重演性能。

ABSTRACT

Humans routinely retrace paths in a novel environment both forwards and backwards despite uncertainty in their motion. This paper presents an approach for doing so. Given a demonstration of a path, a first network generates a path abstraction. Equipped with this abstraction, a second network observes the world and decides how to act to retrace the path under noisy actuation and a changing environment. The two networks are optimized end-to-end at training time. We evaluate the method in two realistic simulators, performing path following and homing under actuation noise and environmental changes. Our experiments show that our approach outperforms classical approaches and other learning based baselines.

研究动机与目标

• 在存在噪声执行的新型、变化的环境中实现鲁棒的路径跟踪与归巢。
• 克服基于经典SLAM的方法所存在的局限性，后者需要完整的三维重建，且在环境变化时会失效。
• 开发一种基于学习的方法，仅从单次示范中泛化，而无需对环境进行广泛暴露。
• 通过端到端训练隐式学习定位与导航特征，避免手动设计宽基线或代理任务。
• 评估系统对视觉变化、执行噪声以及轨迹长度泛化的鲁棒性。

提出的方法

• 首个神经网络将示范图像序列编码为路径抽象，学习一种紧凑且具有语义意义的表征。
• 第二个循环神经网络（RNN）控制器利用当前观测和路径抽象，预测动作，隐式地实现对智能体在路径上位置的定位。
• 系统通过模仿学习进行端到端训练，控制器学习在抽象路径上跟踪一个指针。
• 控制器使用一个学习到的增量函数来更新指针位置，从而支持正向和反向的路径遍历。
• 该架构通过学习视觉线索与相对路径位置之间的关联，避免了显式的几何定位。
• 该方法利用循环结构保持对路径推进过程的记忆，从而增强对执行噪声和视觉变化的鲁棒性。

实验结果

研究问题

• RQ1 学习到的视觉记忆系统是否能在存在噪声执行和环境变化的条件下实现鲁棒的路径跟踪与归巢？
• RQ2 视觉记忆与控制器的端到端训练相较于基于经典SLAM或监督学习的基线方法有何优势？
• RQ3 该模型在多大程度上能泛化到训练时未见过的更长轨迹？
• RQ4 该模型在环境变化（如物体被移除或添加）时的适应能力如何？
• RQ5 架构中的哪些组件（如循环结构、学习到的增量函数）对性能至关重要？

主要发现

• 所提出的RPF方法在路径跟踪和归巢任务中均优于经典三维重建与定位方法，尤其在环境变化条件下表现更优。
• 当环境中100%的物体被移除或添加时，RPF仍能保持强劲性能，而几何基线方法性能急剧下降。
• 该方法可泛化至训练时未见的长达三倍的轨迹，表现出强大的零样本泛化能力。
• 消融研究证实，循环结构和学习到的增量函数至关重要；移除任一组件均会导致性能显著下降。
• RPF轨迹比开环滚动预测更紧密地对齐于参考路径，从而减少碰撞与漂移。
• 当需要进行轻微绕行时，模型能成功导航绕过障碍物，但在大范围偏离时会失败，表明其在长距离规划方面存在局限。