[论文解读] Optimistic Linear Support and Successor Features as a Basis for Optimal Policy Transfer

Lucas N. Alegre, Ana L. C. Bazzan+1 more|arXiv (Cornell University)|Jun 22, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

该论文提出SFOLS，一种新颖算法，将后续特征（SFs）与乐观线性支持（OLS）相结合，构建一组策略，其后续特征构成凸覆盖集（CCS），从而通过广义策略改进（GPI）在无需额外环境交互的情况下，实现对任意线性表达任务的最优策略迁移。该方法通过建立基于后续特征的迁移学习与多目标强化学习之间的理论等价性，确保在所有线性奖励函数下均实现最优性能。

ABSTRACT

In many real-world applications, reinforcement learning (RL) agents might have to solve multiple tasks, each one typically modeled via a reward function. If reward functions are expressed linearly, and the agent has previously learned a set of policies for different tasks, successor features (SFs) can be exploited to combine such policies and identify reasonable solutions for new problems. However, the identified solutions are not guaranteed to be optimal. We introduce a novel algorithm that addresses this limitation. It allows RL agents to combine existing policies and directly identify optimal policies for arbitrary new problems, without requiring any further interactions with the environment. We first show (under mild assumptions) that the transfer learning problem tackled by SFs is equivalent to the problem of learning to optimize multiple objectives in RL. We then introduce an SF-based extension of the Optimistic Linear Support algorithm to learn a set of policies whose SFs form a convex coverage set. We prove that policies in this set can be combined via generalized policy improvement to construct optimal behaviors for any new linearly-expressible tasks, without requiring any additional training samples. We empirically show that our method outperforms state-of-the-art competing algorithms both in discrete and continuous domains under value function approximation.

研究动机与目标

• 为解决现有基于后续特征（SF）的方法的局限性，即尽管支持策略迁移，但无法保证对新任务的最优策略。
• 建立基于SF的迁移学习与线性偏好下多目标强化学习（MORL）之间的理论等价性。
• 开发OLS算法的基于SF的扩展，以构建一组策略的凸覆盖集（CCS），实现在所有线性表达任务中的最优泛化。
• 证明基于该CCS导出的策略可通过广义策略改进（GPI）组合，从而在无需额外环境交互的情况下，对任何新任务实现最优行为。
• 在值函数近似下，于离散与连续领域中对SFOLS进行实证验证，对比最先进方法。

提出的方法

• 将基于SF的迁移学习问题映射为线性偏好下的多目标MDP（MOMDP），建立两种框架之间的理论等价性。
• 提出SFOLS，即OLS的基于SF的扩展，通过迭代选择需求解的任务，使所得SF构成凸覆盖集（CCS）。
• 利用GPI组合CCS中的策略，确保对任意新线性奖励函数实现最优行为。
• 证明由此产生的策略集对所有线性可表达任务均最优，并在CCS不完整时提供性能差距的理论界。
• 利用后续特征表示状态访问模式，实现在无需重训练情况下的高效策略组合。
• 证明该方法通过在后续表示上构建CCS，解决了无监督技能发现的开放问题。

实验结果

研究问题

• RQ1 能否将基于后续特征的最优策略迁移问题，形式化映射为线性偏好下的多目标强化学习？
• RQ2 能否设计一种基于SF的OLS扩展，以构建一组策略的凸覆盖集（CCS），从而保证对任意新线性奖励函数的最优性？
• RQ3 能否证明在该CCS上进行广义策略改进（GPI）可实现无需额外环境交互的最优策略？
• RQ4 在值函数近似下，SFOLS能否在离散与连续控制领域中优于最先进方法？
• RQ5 SFOLS是否解决了Eysenbach等人（2022）所定义的无监督设置下最优技能发现的开放问题？

主要发现

• SFOLS构建了一组策略，其后续特征构成凸覆盖集（CCS），确保通过GPI可对任意新线性可表达任务实现最优求解，且无需额外环境交互。
• 该方法在弱假设下提供理论保证，即所得策略对所有线性奖励函数均最优。
• 实证结果表明，在值函数近似下，SFOLS在离散与连续控制领域中均优于最先进算法。
• 当CCS不完整时，GPI解与最优策略之间的性能差距有界，提供了鲁棒性度量。
• SFOLS通过在后续表示上构建CCS，被证明解决了无监督设置下最优技能发现的开放问题。
• 该方法是首个通过SF与GPI形式化保证对所有线性表达任务实现最优策略迁移的方法。