[论文解读] Temporal Abstraction in Reinforcement Learning with the Successor Representation

Marlos C. Machado, André Sales Barreto+2 more|arXiv (Cornell University)|Oct 12, 2021

Reinforcement Learning in Robotics被引用 11

一句话总结

本文提出将成功者表示（Successor Representation, SR）作为强化学习中发现时间抽象选项的基础框架，从而实现高效的探索与规划。通过利用SR所体现的状态后继模式，该方法可自动识别出有益的选项，推动表示与学习在连续、自我强化的循环中不断优化，同时无需额外训练即可实现选项的组合式扩展。

ABSTRACT

Reasoning at multiple levels of temporal abstraction is one of the key attributes of intelligence. In reinforcement learning, this is often modeled through temporally extended courses of actions called options. Options allow agents to make predictions and to operate at different levels of abstraction within an environment. Nevertheless, approaches based on the options framework often start with the assumption that a reasonable set of options is known beforehand. When this is not the case, there are no definitive answers for which options one should consider. In this paper, we argue that the successor representation (SR), which encodes states based on the pattern of state visitation that follows them, can be seen as a natural substrate for the discovery and use of temporal abstractions. To support our claim, we take a big picture view of recent results, showing how the SR can be used to discover options that facilitate either temporally-extended exploration or planning. We cast these results as instantiations of a general framework for option discovery in which the agent's representation is used to identify useful options, which are then used to further improve its representation. This results in a virtuous, never-ending, cycle in which both the representation and the options are constantly refined based on each other. Beyond option discovery itself, we also discuss how the SR allows us to augment a set of options into a combinatorially large counterpart without additional learning. This is achieved through the combination of previously learned options. Our empirical evaluation focuses on options discovered for exploration and on the use of the SR to combine them. The results of our experiments shed light on important design decisions involved in the definition of options and demonstrate the synergy of different methods based on the SR, such as eigenoptions and the option keyboard.

研究动机与目标

• 解决强化学习中选项发现的开放性问题，即预设选项往往不可用或次优。
• 构建一个通用框架，利用智能体内部表征——特别是成功者表示（SR）——来引导发现有意义的时间抽象选项。
• 实现一个自我改进的循环：更优的选项可优化表征，而更优的表征又能促进发现更有效的选项。
• 通过SR实现选项组合，无需额外学习即可将现有选项组合成组合爆炸规模的选项集，借助选项键盘（option keyboard）机制实现。
• 在稀疏奖励或非平稳奖励环境（如持续学习与多任务学习）中，对SR-based选项发现方法进行实证验证。

提出的方法

• 使用成功者表示（SR），其编码了从每个状态出发的未来状态访问模式，以识别具有结构意义的时间抽象。
• 对SR矩阵进行谱分解，提取对应于特征选项（eigenoptions）的特征向量——这些选项基于环境的内在几何结构自然生成。
• 利用SR计算覆盖选项（covering options），通过识别连接度高、可作为高效状态覆盖枢纽的节点状态。
• 实施在线、非策略性学习方案，从交互数据中增量估计SR，并从动态演化的SR矩阵中发现选项。
• 利用选项键盘框架，通过SR将已有选项组合生成新选项，实现行为能力的组合式扩展，且无需重新训练。
• 通过 (Ψ + Ψᵀ)/2 对SR矩阵进行对称化处理，以解决其非对称性问题，确保特征向量为实数，从而保障选项发现的稳定性。

实验结果

研究问题

• RQ1 成功者表示能否作为无需环境先验知识即可自然发现时间抽象选项的基底？
• RQ2 与现有方法（如特征选项和覆盖选项）相比，基于SR的选项发现框架在探索与规划效率方面表现如何？
• RQ3 SR在多大程度上可实现从少量初始选项自动组合生成大规模选项集，且无需额外学习？
• RQ4 在稀疏奖励环境中，选项发现过程中的设计选择（如矩阵选择、特征向量选取、策略学习方法）对性能有何显著影响？
• RQ5 表示与选项之间的迭代优化循环是否能持续提升选项质量与表示准确性？

主要发现

• 成功者表示可实现显著提升时间抽象探索与规划能力的选项发现，该结论在稀疏奖励的网格世界环境中得到验证。
• 通过SR发现的特征选项与覆盖选项在回报最大化任务中收敛速度更快，在四房间环境中的50次独立运行中均表现出性能增益。
• 选项键盘框架可使智能体在无需额外训练的前提下，仅通过SR组合已有选项，从少量初始选项生成组合爆炸规模的选项集。
• 实证结果表明，使用SR而非图拉普拉斯矩阵进行覆盖选项发现，即使在特征向量因非对称性而呈现复杂分量时，性能差异也微乎其微。
• 表示优化与选项发现的迭代循环形成自我改进的正向循环：更优的选项带来更优的SR估计，而更优的SR估计又能生成更优的选项。
• 在在线学习设置中，SR-based选项发现过程随时间收敛，特征选项与覆盖选项逐渐与环境的结构性特征（如对角线与边界转移）对齐。