[论文解读] Supervised Policy Update.

Quan Vuong, Yiming Zhang+1 more|arXiv (Cornell University)|May 29, 2018

Reinforcement Learning in Robotics参考文献 12被引用 3

一句话总结

本文提出了监督策略更新（SPU），一种样本高效的深度强化学习方法。该方法首先在邻近空间中对非参数化策略进行优化，然后通过监督回归将策略蒸馏为参数化策略以生成样本。SPU通过将TRPO和PPO统一于单一优化框架下，在机器人运动任务中实现了优于PPO的样本效率。

ABSTRACT

We propose a new sample-efficient methodology, called Supervised Policy Update (SPU), for deep reinforcement learning. Starting with data generated by the current policy, SPU optimizes over the proximal policy space to find a non-parameterized policy. It then solves a supervised regression problem to convert the non-parameterized policy to a parameterized policy, from which it draws new samples. There is significant flexibility in setting the labels in the supervised regression problem, with different settings corresponding to different underlying optimization problems. We develop a methodology for finding an optimal policy in the non-parameterized policy space, and show how Trust Region Policy Optimization (TRPO) and Proximal Policy Optimization (PPO) can be addressed by this methodology. In terms of sample efficiency, our experiments show SPU can outperform PPO for simulated robotic locomotion tasks.

研究动机与目标

• 为解决深度强化学习中样本效率低下的挑战，尤其是在高维连续控制任务中的问题。
• 将现有的近端策略优化方法（如TRPO和PPO）统一并泛化于单一且灵活的框架下。
• 通过监督回归步骤将策略优化与参数化解耦，从而提升策略学习效率。
• 使非参数化策略可用于稳定优化，随后蒸馏为可用于部署的参数化策略。

提出的方法

• SPU首先使用当前策略生成离策略轨迹，形成状态-动作对的数据集。
• 然后在当前策略的邻近区域内优化一个非参数化策略，以确保稳定性和性能提升。
• 构建一个监督回归问题，将状态映射到动作，其中标签由优化后的非参数化策略生成。
• 训练回归模型以生成模仿非参数化策略行为的参数化策略。
• 该方法支持灵活的标签设计，使其能够恢复或推广TRPO和PPO作为特例。
• 从更新后的参数化策略中收集新的轨迹，形成闭环以实现迭代优化。

实验结果

研究问题

• RQ1 结合非参数化策略优化与监督蒸馏的两阶段方法，能否提升深度强化学习中的样本效率？
• RQ2 如何通过近端策略更新与监督回归，将TRPO和PPO统一于单一优化框架下？
• RQ3 监督回归步骤中的何种标签配置能带来最优的策略性能与稳定性？
• RQ4 所提出的方法在连续控制基准测试中是否优于标准PPO的样本效率？

主要发现

• SPU在模拟机器人运动任务中相比PPO实现了更优的样本效率，表现出更少环境交互次数下的更快学习速度。
• 通过调整监督回归步骤中的标签设计，该方法成功泛化了TRPO和PPO。
• 在非参数化策略空间上进行优化，可在不依赖神经网络参数化的情况下实现稳定且有效的策略更新。
• 从非参数化策略到参数化策略的蒸馏步骤在保持性能的同时，实现了高效的轨迹采样以支持训练。