[论文解读] Teaching a Machine to Read Maps with Deep Reinforcement Learning

Gino Brunner, Oliver Richter+2 more|arXiv (Cornell University)|Nov 20, 2017

Robotics and Sensor-Based Localization被引用 16

一句话总结

本文提出了一种深度强化学习智能体，通过结合A3C、循环定位单元（Recurrent Localization Cell）和局部地图估计模块的模块化架构，学习阅读2D地图并在3D迷宫中导航。该智能体实现了稳健的泛化能力，通过融合视觉输入、朝向信息和地图反馈来实现自身定位并规划最短路径，成功导航了比训练时见过的迷宫大三倍的3D迷宫。

ABSTRACT

The ability to use a 2D map to navigate a complex 3D environment is quite remarkable, and even difficult for many humans. Localization and navigation is also an important problem in domains such as robotics, and has recently become a focus of the deep reinforcement learning community. In this paper we teach a reinforcement learning agent to read a map in order to find the shortest way out of a random maze it has never seen before. Our system combines several state-of-the-art methods such as A3C and incorporates novel elements such as a recurrent localization cell. Our agent learns to localize itself based on 3D first person images and an approximate orientation angle. The agent generalizes well to bigger mazes, showing that it learned useful localization and navigation capabilities.

研究动机与目标

• 使智能体仅使用2D地图和第一人称视觉输入，学习在未见过的3D迷宫中导航。
• 通过整合辅助任务（如地图估计和定位）来应对导航任务中的稀疏奖励问题。
• 开发一种模块化强化学习框架，其中定位、地图理解与路径规划等子任务由专用组件解决。
• 通过在较小迷宫上训练并结合在线策略与离线策略学习及优先回放，提升对更大迷宫的泛化能力。

提出的方法

• 智能体采用改进的A3C架构，对反应式策略使用在线策略学习，对定位与地图模块使用带优先回放的离线策略学习。
• 循环定位单元通过将学习到的局部地图与栅格化全局地图进行相关性匹配，利用相关性得分的softmax计算来估计智能体在地图上的位置。
• 地图模块从3D RGB输入生成可见的局部2D地图，该地图通过自身运动估计和可学习反馈权重λ进行更新。
• 通过使用估计的自身运动对前一帧估计进行平移，并与地图反馈信号融合，对局部地图进行优化，两者均裁剪至[−0.5, +0.5]以稳定训练过程。
• 最短路径规划算法通过在网格迷宫上进行递归乘法更新，基于距离终点的远近分配数值，计算目标方向。
• 智能体对邻近单元使用尖锐softmax输出动作概率，最终策略引导其朝目标方向导航。

实验结果

研究问题

• RQ1 深度强化学习智能体能否仅依靠视觉输入和2D地图，在无显式状态监督的情况下实现对3D迷宫中自身位置的定位？
• RQ2 局部地图估计等辅助任务在多大程度上能提升智能体对更大、未见过的迷宫的泛化能力？
• RQ3 循环定位单元的集成在多大程度上提升了位置估计的准确性与导航性能？
• RQ4 结合反应式策略学习与中间子任务模块（如定位、地图反馈）的模块化架构，是否能在稀疏奖励导航任务中优于端到端训练？
• RQ5 地图反馈与自身运动估计在多大程度上能稳定并提升局部地图随时间构建的稳定性与准确性？

主要发现

• 智能体成功导航了比训练中见过的最大迷宫大三倍的迷宫，展现出强大的泛化能力。
• 循环定位单元实现了精确的位置估计，智能体在21×21迷宫中以高置信度正确识别自身位置（估计位置[23,17]，实际位置[22,17]）。
• 由于融合了视觉与自身运动线索，地图模块即使在罗盘不准确时也能生成稳健的局部地图。
• 辅助任务（包括地图反馈与基于自身运动的图像平移）的使用显著提升了局部地图估计的稳定性和准确性。
• 智能体学会了将地图符号与奖励相关联——目标为正奖励，墙壁为负奖励，展示了有效的地图理解能力。
• 基于迭代值传播的最短路径规划算法使智能体能够以高精度计算最优动作方向，如策略概率分布所示。