[论文解读] On the Complexity of Exploration in Goal-Driven Navigation

Maruan Al-Shedivat, Lisa Lee+2 more|arXiv (Cornell University)|Nov 16, 2018

Optimization and Search Problems参考文献 11被引用 7

一句话总结

本文引入EscapeRoom环境以研究目标驱动导航的复杂性，提出一种基于目标依赖图的首次 hitting 时间度量方法，用于分析性地衡量探索难度。结果表明，更高的 hitting 时间与非层次化强化学习（RL）性能更差相关，且层次化PPO（HiPPO）在复杂、多子目标任务上显著优于平面基线方法。

ABSTRACT

Building agents that can explore their environments intelligently is a challenging open problem. In this paper, we make a step towards understanding how a hierarchical design of the agent's policy can affect its exploration capabilities. First, we design EscapeRoom environments, where the agent must figure out how to navigate to the exit by accomplishing a number of intermediate tasks (\emph{subgoals}), such as finding keys or opening doors. Our environments are procedurally generated and vary in complexity, which can be controlled by the number of subgoals and relationships between them. Next, we propose to measure the complexity of each environment by constructing dependency graphs between the goals and analytically computing \emph{hitting times} of a random walk in the graph. We empirically evaluate Proximal Policy Optimization (PPO) with sparse and shaped rewards, a variation of policy sketches, and a hierarchical version of PPO (called HiPPO) akin to h-DQN. We show that analytically estimated \emph{hitting time} in goal dependency graphs is an informative metric of the environment complexity. We conjecture that the result should hold for environments other than navigation. Finally, we show that solving environments beyond certain level of complexity requires hierarchical approaches.

研究动机与目标

• 理解并衡量具有多个依赖子目标的目标驱动导航任务中探索的复杂性。
• 评估层次化策略设计对这类环境中探索与学习性能的影响。
• 基于目标依赖关系，开发一种形式化且可分析计算的环境复杂性度量方法。
• 检验该复杂性度量是否能预测深度强化学习设置中学习的难度。
• 探究在高探索复杂性环境中，采用层次化方法的必要性。

提出的方法

• 设计了可配置子目标依赖关系的程序化生成网格世界环境，称为EscapeRooms。
• 构建目标依赖图，其中节点代表子目标，边代表子目标之间的必要转移关系。
• 通过涉及图拉普拉斯矩阵的线性系统，计算随机游走的期望 hitting 时间：$ Lx = b $，其中 $ x_t = 0 $，$ b_s = 1 $，$ b_t = -1 $，且对所有 $ k \notin \{s,t\} $ 有 $ b_k = 0 $。
• 使用稀疏奖励、奖励塑形（PPO+Bonus）、策略草图（PPO+Sketch）以及层次化变体（HiPPO）的近端策略优化（PPO）进行评估。
• 在具有不同目标依赖图深度与宽度的7个环境中，实证评估性能表现。
• 将分析计算得到的 hitting 时间与实际强化学习性能指标（如成功率和回合长度）进行相关性分析。

实验结果

研究问题

• RQ1 导航任务中目标依赖结构如何影响探索的复杂性？
• RQ2 目标依赖图中的 hitting 时间能否作为强化学习中环境复杂性的可靠分析度量？
• RQ3 在解决复杂、多子目标导航任务时，层次化策略与平面非层次化策略相比表现如何？
• RQ4 内在奖励塑形或策略草图是否能提升非层次化智能体在这些任务上的学习效果？
• RQ5 分析计算的 hitting 时间与不同环境中实际强化学习性能之间的相关性有多大？

主要发现

• 在目标依赖图中分析计算得到的 hitting 时间与实际强化学习性能高度相关，验证了其作为复杂性度量的实用性。
• 环境 (f) 和 (g) 的 hitting 时间最高（分别为 86.1 和 82.5），难度最大，HiPPO 的成功率仅分别为 11.2% 和 19.0%，而平面PPO方法则完全失败。
• HiPPO 在 (a) 上取得最高成功率（74.9%），在 (b) 上为 57.0%，在 (g) 上为 19.0%，且平均回合长度最短（(a) 为最大长度的 48.2%，(g) 为 93.8%），表明其具有更高的样本效率和更强的学习能力。
• 使用稀疏奖励的PPO优于PPO+Bonus，表明为中间目标设计内在奖励无法帮助平面策略，甚至可能阻碍学习。
• PPO+Sketch 的表现劣于标准PPO，表明在缺乏适当层次结构的情况下，对子目标进行条件控制可能适得其反。
• hitting 时间与HiPPO的成功率及回合长度之间的相关性（图3）证实，hitting 时间是强化学习中环境难度的有意义预测指标。