[论文解读] Supervised Policy Update for Deep Reinforcement Learning

Quan Vuong, Yiming Zhang+1 more|arXiv (Cornell University)|May 29, 2018

Reinforcement Learning in Robotics被引用 3

一句话总结

本文提出监督策略更新（SPU），一种样本高效的深度强化学习方法，首先通过约束优化在非参数化近端策略空间中优化策略，然后通过监督回归将该策略蒸馏为参数化策略。SPU在MuJoCo任务中优于TRPO，在Atari游戏中优于PPO，展现出在多样化环境中更优的样本效率和鲁棒性，且实现方式较TRPO更简单。

ABSTRACT

We propose a new sample-efficient methodology, called Supervised Policy Update (SPU), for deep reinforcement learning. Starting with data generated by the current policy, SPU formulates and solves a constrained optimization problem in the non-parameterized proximal policy space. Using supervised regression, it then converts the optimal non-parameterized policy to a parameterized policy, from which it draws new samples. The methodology is general in that it applies to both discrete and continuous action spaces, and can handle a wide variety of proximity constraints for the non-parameterized optimization problem. We show how the Natural Policy Gradient and Trust Region Policy Optimization (NPG/TRPO) problems, and the Proximal Policy Optimization (PPO) problem can be addressed by this methodology. The SPU implementation is much simpler than TRPO. In terms of sample efficiency, our extensive experiments show SPU outperforms TRPO in Mujoco simulated robotic tasks and outperforms PPO in Atari video game tasks.

研究动机与目标

• 解决在线策略深度强化学习中的关键挑战——环境交互成本高昂。
• 开发一种适用于离散与连续动作空间的通用框架，通过邻近性约束保持策略稳定性。
• 简化TRPO等信任区域方法的实现，同时提升性能，避免复杂的二阶优化。
• 实现高性能且对超参数敏感度极低，提升实际强化学习应用的可用性。
• 将策略优化分为两个阶段——先在非参数化策略空间中搜索最优策略，再通过监督学习实现参数化，为策略更新设计提供新范式。

提出的方法

• 在非参数化近端策略空间中，使用如KL散度等距离度量，构建约束优化问题，确保策略更新保持在当前策略的邻近范围内。
• 求解该约束优化问题，基于新采集的数据找到能最大化期望回报的最优非参数化策略。
• 通过监督回归将最优非参数化策略映射为参数化策略，实现高效采样与训练。
• 引入基于状态的接受机制与动态停止策略，提升训练稳定性和收敛性，依据状态级KL散度与梯度范数进行判断。
• 通过泛化优化框架，支持多种邻近性约束，包括NPG/TRPO与PPO中使用的约束。
• 使用蒸馏后的策略作为目标，对参数化策略进行重训练，采用自适应学习率与基于梯度幅值和KL散度的早停策略。

实验结果

研究问题

• RQ1 两阶段策略更新框架（先优化非参数化策略，再通过监督学习参数化）是否能实现比现有在线策略方法更优的样本效率？
• RQ2 SPU在MuJoCo与Atari等多样化环境中的表现如何，尤其在样本效率与最终性能方面与TRPO和PPO相比有何差异？
• RQ3 SPU的性能在多大程度上对超参数选择具有鲁棒性，特别是在高维与多样化强化学习环境中？
• RQ4 SPU算法中的哪些组件（如基于梯度的KL正则化、基于状态的接受机制）对实现高性能最为关键？
• RQ5 通过将最优策略搜索与参数化解耦，能否以比TRPO更简单的实现方式获得更优性能？

主要发现

• 在10个MuJoCo环境中，SPU在300万次时间步后最终性能比TRPO高出28%，展现出更优的样本效率。
• 在60款Atari游戏中，SPU的平均最终性能比PPO提升55%，其中在15款环境中性能提升超过PPO的9款。
• 梯度形式的KL散度（$\nabla_{\theta}D_{\text{KL}}$）对性能贡献最大，其移除会使SPU的性能增益降低85%。
• 基于状态的接受机制与动态停止策略均至关重要，其中基于状态的接受机制影响最大，其移除会使性能下降67%。
• SPU性能高度鲁棒：在100次随机超参数试验中，所有SPU变体均优于TRPO，其中75%的变体性能超过TRPO至少18%。
• 尽管SPU实现比TRPO更简单，但在MuJoCo与Atari环境中均实现了当前最优的样本效率性能，且在Atari领域超越PPO。