[论文解读] You May Not Need Ratio Clipping in PPO

Mingfei Sun, Vitaly Kurin+5 more|arXiv (Cornell University)|Jan 31, 2022

Machine Learning and Algorithms被引用 7

一句话总结

本文提出了一种新型PPO变体——早停策略优化（ESPO），用基于理论基础的比率偏离度量替代了比率裁剪。ESPO在多个训练周期内直接优化原始代理目标，采用基于单调性改进保证推导出的简单早停条件，相较于标准PPO在连续控制基准测试中表现显著更优，包括在分布式训练设置中亦表现出色。

ABSTRACT

Proximal Policy Optimization (PPO) methods learn a policy by iteratively performing multiple mini-batch optimization epochs of a surrogate objective with one set of sampled data. Ratio clipping PPO is a popular variant that clips the probability ratios between the target policy and the policy used to collect samples. Ratio clipping yields a pessimistic estimate of the original surrogate objective, and has been shown to be crucial for strong performance. We show in this paper that such ratio clipping may not be a good option as it can fail to effectively bound the ratios. Instead, one can directly optimize the original surrogate objective for multiple epochs; the key is to find a proper condition to early stop the optimization epoch in each iteration. Our theoretical analysis sheds light on how to determine when to stop the optimization epoch, and call the resulting algorithm Early Stopping Policy Optimization (ESPO). We compare ESPO with PPO across many continuous control tasks and show that ESPO significantly outperforms PPO. Furthermore, we show that ESPO can be easily scaled up to distributed training with many workers, delivering strong performance as well.

研究动机与目标

• 探究PPO中的比率裁剪是否对稳定且有效的策略优化是必要的。
• 识别比率裁剪的局限性，例如无效的比率边界控制以及可能违反信任区域约束的问题。
• 开发一种直接优化原始代理目标而不使用裁剪的方法，依赖早停来维持策略稳定性。
• 基于比率偏离度量提供一个理论合理的早停准则，以确保单调性改进。
• 评估所提方法在单机与多工作者分布式训练设置下的可扩展性与性能表现。

提出的方法

• 该方法提出早停策略优化（ESPO），在多个小批量训练周期内直接优化保守策略迭代（CPI）代理目标，无需比率裁剪。
• 引入一种新颖的比率偏离度量作为早停准则，其理论基础为保证策略更新单调改进的理论结果。
• 比率偏离度量按每个状态-动作样本计算，并用于判断何时终止优化周期，防止策略更新过度。
• 早停阈值为超参数，用于在下界紧致性与样本效率之间取得平衡，实证验证表明在0.25时具有鲁棒性。
• 该方法兼容分布式训练，其中多个执行者并行收集数据，学习者同步更新策略，梯度在各工作者间平均。
• 理论分析表明，比率偏离度量对策略差异的边界控制比KL散度或比率裁剪更紧致、更有效。

实验结果

研究问题

• RQ1 PPO中的比率裁剪是否能有效控制策略更新比率？即使经过裁剪，比率是否仍可能无界增长？
• RQ2 若结合适当的早停条件，直接优化原始代理目标是否能优于比率裁剪的PPO？
• RQ3 与KL散度相比，所提出的比率偏离度量在控制策略差异和确保单调改进方面表现如何？
• RQ4 在具有大量工作者的分布式训练设置中，ESPO能否维持或超越PPO的性能？
• RQ5 ESPO的性能提升是源于早停准则本身，还是其他实现层面的优化？

主要发现

• ESPO在多个连续控制基准测试中（包括Ant、Humanoid和Walker2d）显著优于标准PPO，无论在单机还是多工作者设置下均表现优异。
• 当早停阈值为0.25时，ESPO的性能始终稳健且优于基于KL和比率裁剪的基线方法。
• 即使仅使用单个工作者，ESPO在Humanoid和HumanoidStandup任务上也优于分布式PPO（DPPO），在Ant任务上表现相当。
• 使用10个工作者的分布式ESPO在性能上与或优于分布式PPO，表明其具备出色的可扩展性与样本效率。
• 比率偏离度量对策略差异的边界控制比KL散度更紧致，且ESPO使用RD.25时的策略更新偏离度更均匀，表明优化更有效。
• 实证结果表明，比率裁剪无法有效防止比率无界增长，且可能无法有效强制执行信任区域约束，从而削弱其理论依据。