[论文解读] Trust Region-Guided Proximal Policy Optimization

Yuhui Wang, Hao He+2 more|arXiv (Cornell University)|Jan 29, 2019

Reinforcement Learning in Robotics参考文献 2被引用 26

一句话总结

该论文提出了一种改进的PPO算法——信任区域引导的近端策略优化（TRGPPO），该算法通过基于信任区域的准则自适应调整裁剪范围，实现对信任区域内的裁剪范围动态调整。通过放松对低偏好动作的约束，TRGPPO提升了探索能力和样本效率，在保持极低计算开销的同时，在基准任务上取得了更强的性能边界和更高的策略熵，表现出优异的实验结果。

ABSTRACT

Proximal policy optimization (PPO) is one of the most popular deep reinforcement learning (RL) methods, achieving state-of-the-art performance across a wide range of challenging tasks. However, as a model-free RL method, the success of PPO relies heavily on the effectiveness of its exploratory policy search. In this paper, we give an in-depth analysis on the exploration behavior of PPO, and show that PPO is prone to suffer from the risk of lack of exploration especially under the case of bad initialization, which may lead to the failure of training or being trapped in bad local optima. To address these issues, we proposed a novel policy optimization method, named Trust Region-Guided PPO (TRGPPO), which adaptively adjusts the clipping range within the trust region. We formally show that this method not only improves the exploration ability within the trust region but enjoys a better performance bound compared to the original PPO as well. Extensive experiments verify the advantage of the proposed method.

研究动机与目标

• 为解决标准PPO在较差初始化下探索能力有限的问题，该问题可能导致陷入较差的局部最优解或训练失败。
• 正式分析PPO中基于比例的策略约束如何影响探索行为，揭示其随时间抑制低概率动作的倾向。
• 开发一种新型PPO变体，在保持训练稳定性的同时，通过信任区域引导的自适应裁剪增强探索能力。
• 在不增加计算成本的前提下，相比原始PPO提升样本效率和性能边界。
• 为当前在策略强化学习中的探索增强方法提供一种理论基础坚实、可解释性强且灵活的替代方案。

提出的方法

• TRGPPO引入了一种基于信任区域引导的自适应裁剪机制，根据信任区域准则动态调整裁剪范围，而非使用固定的超参数。
• 该方法在PPO的比例度量与基于信任区域的散度度量之间建立联系，实现更灵活的约束施加。
• 它放松了对当前策略较不偏好动作的约束，从而鼓励探索可能具有价值的动作，无论其先前偏好如何。
• 裁剪范围被控制在信任区域内，以保持训练稳定性并避免性能下降。
• 该算法采用自适应策略根据ε设置信任区域系数δ，其中ε=0.2，与标准PPO保持一致，确保超参数使用的连贯性。
• TRGPPO与PPO保持相同的实现方式和超参数设置（通过OpenAI Baselines），仅在裁剪机制上有所不同，从而实现公平比较。

实验结果

研究问题

• RQ1 PPO中基于比例的策略约束如何影响探索行为，特别是在较差初始化条件下？
• RQ2 基于信任区域引导的自适应裁剪机制是否能在不牺牲训练稳定性的情况下提升探索能力？
• RQ3 所提出的方法是否在性能边界和样本效率方面优于标准PPO？
• RQ4 TRGPPO中的自适应裁剪范围与固定或启发式裁剪范围相比，在策略熵和学习动态方面有何差异？
• RQ5 TRGPPO是否能在保持计算效率和在策略特性的同时，超越SAC等最先进的离策略方法？

主要发现

• 在五种测试环境中的四种上，TRGPPO将达到性能阈值所需的训练步数减少了约40%，其中在Ant和Walker2d任务上提升最大。
• 在大多数任务中，TRGPPO在训练最后40%的episode中实现了显著更高的平均回报，仅在Reacher任务上落后于PPO。
• TRGPPO的策略熵在整个训练过程中持续高于PPO，表明其保持了稳定的探索行为。
• TRGPPO的自适应上界裁剪范围显著大于PPO的固定裁剪范围，但KL散度仍保持相近水平，证明其在探索与稳定性之间实现了有效平衡。
• 尽管是基于策略算法且在所有任务中使用相同超参数，TRGPPO在六项任务中的五项上实现了与SAC相当的性能，且训练时间仅需25分钟，远低于SAC的182分钟。
• 与PPO相比，TRGPPO的计算成本无显著增加，单百万步训练时间仅为25分钟，而PPO为24分钟。