[论文解读] Neural SLAM

Jingwei Zhang, Lei Tai+3 more|arXiv (Cornell University)|Jun 29, 2017

Reinforcement Learning in Robotics被引用 14

一句话总结

该论文提出 Neural SLAM，一种可微分的深度学习框架，将传统 SLAM 过程嵌入外部记忆网络的注意力机制中，使强化学习智能体能够学习全局环境表征，以实现高效的长期探索。该方法通过结合基于记忆的空间推理与端到端训练，成功使智能体在复杂环境中实现探索。

ABSTRACT

We present an approach for agents to learn representations of a global map from sensor data, to aid their exploration in new environments. To achieve this, we embed procedures mimicking that of traditional Simultaneous Localization and Mapping (SLAM) into the soft attention based addressing of external memory architectures, in which the external memory acts as an internal representation of the environment. This structure encourages the evolution of SLAM-like behaviors inside a completely differentiable deep neural network. We show that this approach can help reinforcement learning agents to successfully explore new environments where long-term memory is essential. We validate our approach in both challenging grid-world environments and preliminary Gazebo experiments. A video of our experiments can be found at: this https URL.

研究动机与目标

• 使强化学习智能体能够在未见过的环境中学习全局环境表征。
• 解决探索任务中长期记忆的挑战，即智能体需在长时间序列中保持空间知识。
• 通过外部记忆实现可微分神经架构，整合传统 SLAM 类似行为。
• 在模拟的网格世界和初步的 Gazebo 机器人环境中验证该方法。

提出的方法

• 该方法使用软注意力机制访问外部记忆，该记忆作为环境的内部地图。
• 将传统 SLAM 操作（如定位和建图）嵌入注意力计算中，以指导记忆更新。
• 整个架构完全可微分，支持通过强化学习进行端到端训练。
• 记忆根据传感器观测进行更新，注意力门控决定读取或写入哪些记忆位置。
• 网络通过强化学习目标进行训练，以鼓励探索和提升地图准确性。
• 该方法利用 SLAM 的归纳偏置，塑造智能体对空间的内部表征。

实验结果

研究问题

• RQ1 深度神经网络能否通过端到端训练学习构建并维持一致的全局地图？
• RQ2 将 SLAM 类似操作集成到记忆增强网络中，能在多大程度上提升长时程探索性能？
• RQ3 该可微分架构在新环境中支持鲁棒定位与建图的能力有多强？
• RQ4 基于注意力的记忆是否能提升探索任务中的样本效率和泛化能力？

主要发现

• Neural SLAM 框架使智能体能够通过端到端训练在新环境中学习全局地图。
• 该方法成功支持长期记忆和探索过程中的稳定空间推理。
• 该方法在具有挑战性的网格世界环境中表现出色，显示出改进的探索性能。
• 在 Gazebo 中的初步实验验证了该方法在模拟机器人环境中的可行性。
• 将 SLAM 过程集成到基于注意力的记忆中，提升了智能体在复杂空间中导航与建图的能力。
• 可微分架构支持稳定训练，并生成对环境具有意义的内部表征。