[论文解读] Option Discovery in Hierarchical Reinforcement Learning using Spatio-Temporal Clustering

Aravind S. Lakshminarayanan, Ramnandan Krishnamurthy+2 more|arXiv (Cornell University)|May 17, 2016

Reinforcement Learning in Robotics参考文献 26被引用 27

一句话总结

本文提出一种分层强化学习框架，通过PCCA+谱聚类对时空聚类进行分析，自动发现选项，以识别状态空间中的亚稳态区域。通过利用转移和奖励结构，该方法在隶属度函数上进行爬山优化，构建与任务无关的选项，从而在大型状态空间中通过基于表示的状态聚合实现高效复用。

ABSTRACT

This paper introduces an automated skill acquisition framework in reinforcement learning which involves identifying a hierarchical description of the given task in terms of abstract states and extended actions between abstract states. Identifying such structures present in the task provides ways to simplify and speed up reinforcement learning algorithms. These structures also help to generalize such algorithms over multiple tasks without relearning policies from scratch. We use ideas from dynamical systems to find metastable regions in the state space and associate them with abstract states. The spectral clustering algorithm PCCA+ is used to identify suitable abstractions aligned to the underlying structure. Skills are defined in terms of the sequence of actions that lead to transitions between such abstract states. The connectivity information from PCCA+ is used to generate these skills or options. These skills are independent of the learning task and can be efficiently reused across a variety of tasks defined over the same model. This approach works well even without the exact model of the environment by using sample trajectories to construct an approximate estimate. We also present our approach to scaling the skill acquisition framework to complex tasks with large state spaces for which we perform state aggregation using the representation learned from an action conditional video prediction network and use the skill acquisition framework on the aggregated state space.

研究动机与目标

• 在无需先验任务知识或专家演示的情况下，自动实现分层强化学习中的技能发现。
• 通过检测与底层MDP结构对齐的亚稳态区域，识别状态空间中的自然抽象。
• 生成可复用的、与任务无关的选项，以实现抽象状态之间的高效导航。
• 通过表示学习和状态聚合，将该框架扩展至大型状态空间，如Atari游戏。
• 在抽象过程中同时整合转移动态和奖励结构，以提升选项语义的合理性。

提出的方法

• 对从样本轨迹中获得的转移矩阵应用PCCA+谱聚类，将状态空间划分为亚稳态区域，将其定义为抽象状态。
• 通过指数加权方案将奖励结构整合到转移矩阵中，以反映功能抽象（例如目标状态）与结构抽象并存。
• 通过在目标抽象状态的隶属度函数上进行爬山优化，构建选项策略，无需额外训练。
• 利用预训练的动作条件视频预测网络进行状态聚合，以学习低维、时空有意义的潜在表示，适用于大型状态空间环境。
• 将聚合后的状态空间输入PCCA+聚类流程，实现对复杂环境（如Seaquest）的可扩展性。
• 利用PCCA+提供的连通性信息，定义抽象状态之间的有效选项转移，确保结构一致性。

实验结果

研究问题

• RQ1 能否在无模型条件下，仅从样本轨迹中使用谱聚类自动发现状态空间中的亚稳态区域？
• RQ2 如何将结构抽象（基于转移）与功能抽象（基于奖励）联合整合到选项发现过程中？
• RQ3 所生成的选项是否可在共享相同底层MDP结构的多个任务中复用而无需重新训练？
• RQ4 如何将该框架扩展至Atari游戏中高维观测的大型状态空间？
• RQ5 在抽象过程中整合奖励结构在多大程度上能提升发现选项的语义一致性和任务效率？

主要发现

• PCCA+在三室环境中成功识别出三个对应于每个房间的抽象状态，无论是否引入奖励结构。
• 引入奖励结构后，额外识别出一个对应于目标方格的第四抽象状态，证明了功能抽象的发现能力。
• 通过在隶属度函数上进行爬山优化生成选项策略，实现了在房间间的正确导航，且无需进一步学习。
• 在Seaquest环境中，框架通过利用从动作条件视频预测网络学习到的表示，实现了有效扩展。
• 学习到的重新上浮以补充氧气的选项在语义上具有意义，并可通过隶属度函数可视化实现视觉可解释性。
• 该框架通过将规划简化为抽象状态之间的转移，显著提升了样本效率和跨任务泛化能力，实现了任务简化。