[论文解读] State2vec: Off-Policy Successor Features Approximators

Sephora Madjiheurem, Laura Toni|arXiv (Cornell University)|Oct 22, 2019

Reinforcement Learning in Robotics参考文献 15被引用 4

一句话总结

本文提出 state2vec，一种新颖的离策略后继特征近似器，通过改进的 node2vec 框架学习低维、具备几何感知能力的状态嵌入。通过在探索性、与奖励无关的数据上进行训练，state2vec 能够捕捉状态空间的内在结构，从而在元测试阶段针对多样化策略和奖励函数实现高效的样本利用。

ABSTRACT

A major challenge in reinforcement learning (RL) is the design of agents that are able to generalize across tasks that share common dynamics. A viable solution is meta-reinforcement learning, which identifies common structures among past tasks to be then generalized to new tasks (meta-test). In meta-training, the RL agent learns state representations that encode prior information from a set of tasks, used to generalize the value function approximation. This has been proposed in the literature as successor representation approximators. While promising, these methods do not generalize well across optimal policies, leading to sampling-inefficiency during meta-test phases. In this paper, we propose state2vec, an efficient and low-complexity framework for learning successor features which (i) generalize across policies, (ii) ensure sample-efficiency during meta-test. We extend the well known node2vec framework to learn state embeddings that account for the discounted future state transitions in RL. The proposed off-policy state2vec captures the geometry of the underlying state space, making good basis functions for linear value function approximation.

研究动机与目标

• 为解决现有后继特征方法在不同最优策略下泛化能力差和样本效率低的问题。
• 在元训练过程中将状态表征学习与特定任务的奖励和策略解耦。
• 开发一种低维、与奖励无关的状态嵌入，以保留环境的几何结构。
• 通过在预训练嵌入之上学习特定任务的系数向量，实现在元测试阶段快速、高效的适应。
• 通过离策略训练确保后继特征在不同策略间泛化，从而提升元强化学习性能。

提出的方法

• 将 node2vec 算法扩展，以学习编码折扣未来状态转移的嵌入，强调时间与结构依赖性。
• 在随机游走过程中对未来的转移施加折扣因子，以优先考虑嵌入空间中时间上相关且邻近的状态。
• 在与任何特定奖励函数或最优策略无关的离策略探索经验数据上训练 state2vec 模型。
• 在元测试阶段，将学习到的状态嵌入用作线性值函数近似的基函数。
• 执行离策略时序差分学习，使用与目标策略不同的行为策略收集的经验来更新后继特征估计。
• 将嵌入维度限制为较低水平，以确保元测试阶段的快速适应与样本效率。

实验结果

研究问题

• RQ1 后继特征的离策略训练是否能提升元强化学习中在多样化最优策略下的泛化能力？
• RQ2 与在线策略方法相比，state2vec 嵌入在多大程度上捕捉了底层状态空间的几何结构？
• RQ3 在元测试阶段，使用预训练的、与奖励无关的状态嵌入，能在多大程度上提升样本效率？
• RQ4 state2vec 嵌入能否作为新任务上线性值函数近似的有效低维基函数？
• RQ5 在值函数近似准确性和泛化能力方面，state2vec 与 node2vec 及其他后继特征方法相比表现如何？

主要发现

• 通过从离策略探索数据中学习，state2vec 能够实现对真实后继特征的高精度近似。
• 离策略的 state2vec 嵌入捕捉了状态空间的内在几何结构，从而支持鲁棒的值函数近似。
• 通过仅需学习一个低维、任务感知的系数向量，state2vec 实现了高效的元测试。
• 该方法在值函数近似方面优于 node2vec，证明了在嵌入过程中采用强化学习特定设计的优势。
• 所学表征对奖励函数变化具有鲁棒性，并能跨策略泛化，即使最优策略差异显著亦成立。
• 该框架成功地将状态表征学习与策略和奖励解耦，实现了在最小重训练情况下的任务间知识迁移。