[论文解读] The Eigenoption-Critic Framework

Miao Liu, Marlos C. Machado+2 more|arXiv (Cornell University)|Dec 11, 2017

Reinforcement Learning in Robotics参考文献 22被引用 7

一句话总结

Eigenoption-Critic (EOC) 框架将特征选项整合到 Option-Critic 架构中，通过基于图拉普拉斯矩阵特征向量的内在奖励，实现了选项与策略的端到端学习。它通过 Nyström 近似支持离散和连续状态空间，在非平稳环境中优于标准 Option-Critic，能够更快适应变化的目标。

ABSTRACT

Eigenoptions (EOs) have been recently introduced as a promising idea for generating a diverse set of options through the graph Laplacian, having been shown to allow efficient exploration. Despite its initial promising results, a couple of issues in current algorithms limit its application, namely: (1) EO methods require two separate steps (eigenoption discovery and reward maximization) to learn a control policy, which can incur a significant amount of storage and computation; (2) EOs are only defined for problems with discrete state-spaces and; (3) it is not easy to take the environment's reward function into consideration when discovering EOs. To addresses these issues, we introduce an algorithm termed eigenoption-critic (EOC) based on the Option-critic (OC) framework [Bacon17], a general hierarchical reinforcement learning (RL) algorithm that allows learning the intra-option policies simultaneously with the policy over options. We also propose a generalization of EOC to problems with continuous state-spaces through the Nyström approximation. EOC can also be seen as extending OC to nonstationary settings, where the discovered options are not tailored for a single task.

研究动机与目标

• 解决现有特征选项方法的局限性，包括分阶段训练、离散状态空间限制以及与环境奖励的缺乏整合。
• 将特征选项发现与策略学习统一为一个单一的、端到端的框架，支持在线学习。
• 通过 Nyström 近似将特征选项扩展到连续状态空间，以插值特征向量。
• 在非平稳环境中提升样本效率和适应性，例如目标位置发生变化的环境。
• 实现可迁移的、多样化的选项，使其在无需从头开始训练的情况下泛化到不同任务。

提出的方法

• 在 Option-Critic 框架中引入基于状态空间图拉普拉斯矩阵特征向量的内在奖励，形成特征目的（eigenpurposes）。
• 使用混合奖励信号，结合外在奖励与基于特征目的的内在奖励，以指导策略学习。
• 应用 Nyström 近似，将从采样状态获得的特征向量推广到连续领域中的新状态。
• 在在线学习过程中，利用 Kd-tree 高效查找 k 个最近邻，以支持基于 Nyström 的特征函数插值。
• 采用策略梯度方法，联合优化选项内策略和选项终止条件，使用组合奖励信号。
• 引入混合系数 α，以平衡学习目标中内在奖励与外在奖励的贡献。

实验结果

研究问题

• RQ1 能否将特征选项整合进一个统一的、端到端的学习框架中，避免先前方法的两阶段训练？
• RQ2 如何在保持其探索优势的前提下，将特征选项扩展到连续状态空间？
• RQ3 将内在特征目的奖励与外在奖励结合，是否能提升非平稳环境中学习的效率？
• RQ4 EOC 框架在目标变化的任务中，相较于标准 Option-Critic 的性能提升程度如何？
• RQ5 所生成的选项是否既能保持多样性，又具备在不同任务间迁移的能力，而无需重新训练？

主要发现

• 在目标周期性变化的 4-rooms 导航任务中，EOC 在 α=0.75 时表现最佳，在目标切换后，其在后续任务中的表现显著优于标准 Option-Critic。
• 在同一任务中，EOC 因内在特征目的奖励驱动的更高效探索，表现出对新目标位置的更快适应能力。
• 在连续状态的弹珠台（pinball）领域中，EOC 在 α=0.5 时，在初始目标变化后的所有任务中均优于 OC，尤其在后期任务中表现更优。
• Nyström 近似有效实现了特征函数在连续领域新状态上的泛化，同时保持了线性函数逼近下的性能。
• 通过可学习的混合系数 α，EOC 通过结合内在与外在奖励，实现了在非平稳设置下的更好样本效率和更快收敛速度。
• 该框架成功解决了先前特征选项方法的三大关键局限：两阶段学习、离散状态限制以及奖励整合缺失。