[论文解读] Playing Doom with SLAM-Augmented Deep Reinforcement Learning

Shehroze Bhatti, Alban Desmaison+4 more|arXiv (Cornell University)|Dec 1, 2016

Reinforcement Learning in Robotics参考文献 38被引用 46

一句话总结

本文提出通过在运行时从目标检测和SLAM中提取的语义地图与拓扑地图来增强深度Q网络（DQN），以提升在3D环境中的策略学习效果。通过将实时重建的语义地图（RSM）整合到DQN输入中，该智能体在3D第一人称游戏Doom中的表现显著优于标准DQN，甚至超越了采用优先经验回放和对偶网络的先进DQN变体。

ABSTRACT

A number of recent approaches to policy learning in 2D game domains have been successful going directly from raw input images to actions. However when employed in complex 3D environments, they typically suffer from challenges related to partial observability, combinatorial exploration spaces, path planning, and a scarcity of rewarding scenarios. Inspired from prior work in human cognition that indicates how humans employ a variety of semantic concepts and abstractions (object categories, localisation, etc.) to reason about the world, we build an agent-model that incorporates such abstractions into its policy-learning framework. We augment the raw image input to a Deep Q-Learning Network (DQN), by adding details of objects and structural elements encountered, along with the agent's localisation. The different components are automatically extracted and composed into a topological representation using on-the-fly object detection and 3D-scene reconstruction.We evaluate the efficacy of our approach in Doom, a 3D first-person combat game that exhibits a number of challenges discussed, and show that our augmented framework consistently learns better, more effective policies.

研究动机与目标

• 解决标准深度强化学习（DRL）在复杂3D环境中存在的局限性，如部分可观测性、稀疏奖励和高维状态空间。
• 探究是否通过整合类人空间与语义抽象（如物体类别、位置及拓扑结构）可提升3D游戏环境中的策略学习效果。
• 证明使用实时自动重建的语义地图（RSM）作为输入增强手段的有效性与可行性，且无需依赖真实地图。
• 评估基于真实世界计算机视觉误差的RSM与理想语义地图（OSM）之间的性能差距，以评估鲁棒性。
• 建立一个可扩展的框架，通过环境抽象增强标准DRL智能体，从而在3D空间领域实现更好的泛化与探索能力。

提出的方法

• 利用SLAM与深度学习实时集成3D场景重建与目标检测，以实时生成语义地图。
• 通过融合检测到的物体（如敌人、生命药水）与智能体定位信息，构建环境的拓扑表示。
• 将此语义地图表示作为额外模态输入，增强深度Q网络（DQN）的原始像素输入。
• 使用标准DQN架构结合卷积神经网络（CNN）处理视觉与语义输入的融合结果，以进行动作选择。
• 采用经验回放与时序差分学习进行模型训练，并通过奖励塑造策略，以鼓励在Doom中实现生存与目标完成。
• 对比三种输入方式的性能：仅原始像素（基线）、真实语义地图（Oracle）与实时处理生成的重建语义地图（RSM）。

实验结果

研究问题

• RQ1 是否可以通过在运行时重建的语义地图增强DQN，来提升在复杂3D游戏（如Doom）中的学习效率与策略性能？
• RQ2 使用重建语义地图（RSM）的DQN智能体性能与使用真实语义地图（OSM）的DQN及标准DQN相比如何？
• RQ3 语义与拓扑抽象在多大程度上可减轻3D环境中部分可观测性与稀疏奖励的影响？
• RQ4 语义地图的集成是否能带来更具鲁棒性的策略，使其在不同初始状态下的环境中有更好的泛化能力？
• RQ5 该框架是否可应用于其他具有相似空间与物体级结构的3D环境，而无需进行领域特定的修改？

主要发现

• 使用重建语义地图（RSM）增强的DQN智能体在平均运行时长方面显著优于标准DQN基线，表现出更强的生存能力与探索能力。
• 即使在目标检测与SLAM存在不完美时，RSM增强的智能体性能也远超标准DQN，更接近理想语义地图（OSM）基线，表明对现实世界视觉误差具有鲁棒性。
• 尽管采用更简单的DQN架构，RSM增强的DQN在Doom环境中的表现仍优于结合优先经验回放与对偶网络的最先进DQN变体（dDQN）。
• 使用语义地图的智能体展现出更好的泛化能力，尤其在初始位置任意的场景中，归因于其能够维持对环境的累积性拓扑理解。
• RSM与OSM之间的性能差距可测量但相对较小，表明当前现成的计算机视觉流水线已足以在此情境下实现有效的地图重建。
• 该方法与现有DRL改进手段（如优先经验回放与对偶网络）正交，表明未来通过集成可进一步提升性能。