[论文解读] Truly Proximal Policy Optimization

Yuhui Wang, Hao He+2 more|arXiv (Cornell University)|Mar 19, 2019

Reinforcement Learning in Robotics参考文献 25被引用 32

一句话总结

本文分析 PPO 的近端特性，表明它并未严格限定似然比的范围，也未强制真正的信任区，并提出 Truly PPO，结合回滚和基于信任区的裁剪，以保证单调改进并提高样本效率。

ABSTRACT

Proximal policy optimization (PPO) is one of the most successful deep reinforcement-learning methods, achieving state-of-the-art performance across a wide range of challenging tasks. However, its optimization behavior is still far from being fully understood. In this paper, we show that PPO could neither strictly restrict the likelihood ratio as it attempts to do nor enforce a well-defined trust region constraint, which means that it may still suffer from the risk of performance instability. To address this issue, we present an enhanced PPO method, named Truly PPO. Two critical improvements are made in our method: 1) it adopts a new clipping function to support a rollback behavior to restrict the difference between the new policy and the old one; 2) the triggering condition for clipping is replaced with a trust region-based one, such that optimizing the resulted surrogate objective function provides guaranteed monotonic improvement of the ultimate policy performance. It seems, by adhering more truly to making the algorithm proximal - confining the policy within the trust region, the new algorithm improves the original PPO on both sample efficiency and performance.

研究动机与目标

• 评估 PPO 是否严格限定似然比并执行信任区约束。
• 研究 PPO 的近端特性，识别裁剪与信任区理论之间的差距。
• 提出对 PPO 的改进，确保真正的近端行为和单调的策略改进。

提出的方法

• 引入回滚操作，以抵消让策略超出裁剪范围的激励。
• 用基于信任区的条件替代裁剪触发，以约束 KL 散度。
• 将回滚机制与基于信任区的裁剪结合，形成具有一阶优化的 Truly PPO。
• 定义一个新的目标，当超出信任区时减去基于 KL 的惩罚，以促进单调改进。
• 为 Truly PPO 提供单调改进的理论保证。
• 在基准任务上进行经验评估，以比较策略性能和样本效率。

实验结果

研究问题

• RQ1 PPO 是否在其裁剪范围内严格约束似然比？
• RQ2 PPO 是否能强制实施如 TRPO 那样定义明确的信任区约束？
• RQ3 我们能否设计一个实现真正近端行为和单调改进且保持优化简单的 PPO 变体？
• RQ4 回滚和基于信任区的裁剪对样本效率和性能有何好处？
• RQ5 在理论与实践中，Truly PPO 与 TRPO 和 PPO 的对比如何？

主要发现

• PPO 在实践中并未在裁剪范围内严格约束似然比。
• PPO 未强制真正的信任区约束，可以从裁剪下的 KL 散度无界性看出证据。
• 引入回滚操作和基于信任区的裁剪机制，产生具有单调改进保证的 Truly PPO。
• Truly PPO 的目标在超出信任区时对 KL 散度进行惩罚，促进近端更新。
• 该组合在基准任务上提升了策略性能和样本效率。
• 作者提供了实现代码。