[论文解读] Policy Evaluation Networks

Jean Harb, Tom Schaul+2 more|arXiv (Cornell University)|Feb 26, 2020

Reinforcement Learning in Robotics参考文献 43被引用 14

一句话总结

本文提出策略评估网络（PVNs），一种可微分框架，通过将策略嵌入紧凑且信息丰富的指纹中，实现无需新环境交互即可预测其期望回报。通过在策略-回报对上训练PVN，并利用网络实现零样本策略梯度上升，该方法生成的策略优于训练数据中的策略，展示了在策略空间中的有效泛化能力。

ABSTRACT

Many reinforcement learning algorithms use value functions to guide the search for better policies. These methods estimate the value of a single policy while generalizing across many states. The core idea of this paper is to flip this convention and estimate the value of many policies, for a single set of states. This approach opens up the possibility of performing direct gradient ascent in policy space without seeing any new data. The main challenge for this approach is finding a way to represent complex policies that facilitates learning and generalization. To address this problem, we introduce a scalable, differentiable fingerprinting mechanism that retains essential policy information in a concise embedding. Our empirical results demonstrate that combining these three elements (learned Policy Evaluation Network, policy fingerprints, gradient ascent) can produce policies that outperform those that generated the training data, in zero-shot manner.

研究动机与目标

• 通过学习预测未见策略的期望回报，实现在策略空间中的直接策略优化。
• 解决以紧凑、可微分形式表示复杂策略的挑战，同时保留其结构和行为信息。
• 提出一种基于策略上学习的价值函数的零样本策略改进方法，避免在优化过程中进行在线轨迹滚动。
• 通过将归纳偏置从状态-动作空间转移到策略参数空间，提升强化学习中的数据效率和泛化能力。

提出的方法

• 提出一种策略评估网络（PVN），一种前馈神经网络，通过监督学习训练，以从其指纹中预测策略的期望回报。
• 引入一种可微分指纹机制，将策略网络在关键状态下的行为编码为低维嵌入，同时保留结构依赖性并最小化尺寸。
• 利用自动微分计算期望回报相对于策略参数的梯度，直接从PVN中实现端到端的策略梯度更新。
• 通过反向传播通过PVN实现零样本策略梯度上升，使无需环境交互即可优化新且未执行的策略。
• 使用预计算的策略-回报对数据集训练PVN，其中每个策略由其指纹表示，并通过完整轨迹滚动进行评估。
• 将框架扩展至支持多层和线性策略网络，证明其在简单架构之外的可扩展性和泛化能力。

实验结果

研究问题

• RQ1 是否可以训练一个神经网络，使其仅基于紧凑且可微分的策略嵌入，泛化到未见策略并预测其期望回报？
• RQ2 如何有效生成策略指纹，以在保持计算效率的同时保留足够信息以实现准确的价值预测？
• RQ3 通过学习的PVN进行梯度上升，是否能生成优于训练过程中见过的所有策略的策略，且无需新的环境交互？
• RQ4 与传统的在线策略或离线策略强化学习方法相比，该方法在数据效率和策略优化稳定性方面能提升到何种程度？

主要发现

• 所提出的策略评估网络成功实现了在策略空间中的泛化，能够基于指纹准确预测未见策略的期望回报。
• 可微分指纹机制有效捕捉了策略的关键特征，使PVN能够在线性与多层策略架构之间实现泛化。
• 通过PVN实现的零样本策略梯度上升，生成的策略在期望回报方面优于所有训练阶段的策略，展现出卓越的泛化能力。
• 该方法可在策略优化过程中立即更新价值函数，有望通过消除传统演员-评论家方法中常见的延迟，提升数据效率。