[论文解读] The Option Keyboard: Combining Skills in Reinforcement Learning

André Barreto, Diana Borsa+9 more|arXiv (Cornell University)|Jan 1, 2019

Reinforcement Learning in Robotics被引用 38

一句话总结

本文提出了 Option Keyboard 框架，这是一种分层强化学习方法，通过在线性空间中操作伪奖励（累积量）来组合技能。通过在扩展的状态-动作空间中将确定性选项表示为累积量，该方法能够通过对已学习累积量进行线性组合，即时合成新选项，在无需微调的情况下实现复杂任务中的优越样本效率和性能。

ABSTRACT

The ability to combine known skills to create new ones may be crucial in the solution of complex reinforcement learning problems that unfold over extended periods. We argue that a robust way of combining skills is to define and manipulate them in the space of pseudo-rewards (or "cumulants"). Based on this premise, we propose a framework for combining skills using the formalism of options. We show that every deterministic option can be unambiguously represented as a cumulant defined in an extended domain. Building on this insight and on previous results on transfer learning, we show how to approximate options whose cumulants are linear combinations of the cumulants of known options. This means that, once we have learned options associated with a set of cumulants, we can instantaneously synthesise options induced by any linear combination of them, without any learning involved. We describe how this framework provides a hierarchical interface to the environment whose abstract actions correspond to combinations of basic skills. We demonstrate the practical benefits of our approach in a resource management problem and a navigation task involving a quadrupedal simulated robot.

研究动机与目标

• 为解决强化学习中超越简单策略组合的技能组合挑战。
• 通过在伪奖励（累积量）空间而非策略空间中操作，实现在零样本条件下快速合成新选项。
• 提供一种分层接口，使抽象动作对应于基础技能的组合，增强时间抽象与规划能力。
• 证明线性累积量组合可产生真正新颖且非平凡的行为，这些行为无法通过基础技能的简单序列或混合实现。

提出的方法

• 在扩展的状态-动作空间中将确定性选项表示为累积量，实现从选项到累积量的明确映射。
• 利用后续特征实现对已知累积量线性组合的高效广义策略评估（GPE）。
• 通过广义策略提升（GPI）从多个价值函数在组合累积量下的表现中推导出改进策略。
• 通过基础累积量的线性组合合成新选项，实现在无需额外训练情况下的即时部署。
• 使用选项形式化框架，确保时间抽象与目标导向行为。
• 在两个环境中应用该方法：MuJoCo 中的资源管理任务和四足机器人导航任务，分别使用 Q-learning 和基于 DPG 的智能体。

实验结果

研究问题

• RQ1 是否能在伪奖励（累积量）空间中有效组合技能，以生成无需微调即可使用的新型、有用行为？
• RQ2 与传统的策略组合或基础选项学习相比，通过线性累积量组合组合选项在样本效率和性能方面表现如何？
• RQ3 所提出的框架能否处理动态奖励结构，例如基于库存或状态变化的偏好函数？
• RQ4 单组预训练选项在通过动态组合支持多样化、复杂任务方面的能力有多大？
• RQ5 在奖励结构发生结构性变化的环境中，Option Keyboard 框架是否能实现比扁平强化学习智能体更快的收敛速度和更优的渐近性能？

主要发现

• Option Keyboard 框架可通过累积量的线性组合实现新选项的即时合成，且在初始选项学习后无需额外训练。
• 在资源管理任务中，使用组合选项（QP(3)-i）的玩家在动态奖励变化下显著优于平面 Q-learning 智能体（QL）和基础选项智能体（QO）。
• 在四足机器人导航任务中，Option Keyboard 在奖励结构随时间变化时，实现了比基线 Q-learning 智能体更快的收敛速度和更优的渐近性能。
• 该方法成功处理了营养素的负奖励区域等复杂场景，其中基础选项因次优行为而失效，而组合选项则实现了恢复并提升了性能。
• 在具有偏好函数变化的场景中，引入负权重组合（例如 w3 = (1, -1)）显著提升了性能，证明了该方法捕捉非平凡行为组合的能力。
• QP(8) 智能体（考虑多样化组合）在所有场景中均保持与或优于所有基线，展现出对未知动态的鲁棒性与适应性。