[论文解读] Proximal Policy Optimization with Relative Pearson Divergence

Taisuke Kobayashi|arXiv (Cornell University)|Oct 7, 2020

Reinforcement Learning in Robotics参考文献 30被引用 4

一句话总结

本文提出PPO-RPE，一种新型的近端策略优化变体，用基于相对皮尔逊散度（RPE）的正则化替代PPO中的启发式裁剪，从而获得理论严谨的最小化目标和平衡的策略更新。PPO-RPE在四个基准任务中实现了更优或相当的性能，通过更有效地将策略更新约束在基线范围内，提升了学习稳定性和收敛性。

ABSTRACT

The recent remarkable progress of deep reinforcement learning (DRL) stands on regularization of policy for stable and efficient learning. A popular method, named proximal policy optimization (PPO), has been introduced for this purpose. PPO clips density ratio of the latest and baseline policies with a threshold, while its minimization target is unclear. As another problem of PPO, the symmetric threshold is given numerically while the density ratio itself is in asymmetric domain, thereby causing unbalanced regularization of the policy. This paper therefore proposes a new variant of PPO by considering a regularization problem of relative Pearson (RPE) divergence, so-called PPO-RPE. This regularization yields the clear minimization target, which constrains the latest policy to the baseline one. Through its analysis, the intuitive threshold-based design consistent with the asymmetry of the threshold and the domain of density ratio can be derived. Through four benchmark tasks, PPO-RPE performed as well as or better than the conventional methods in terms of the task performance by the learned policy.

研究动机与目标

• 为解决标准PPO中最小化目标不明确的问题，该问题缺乏原则性的正则化目标。
• 解决因对不对称密度比施加对称裁剪阈值而引起的策略正则化不平衡问题。
• 基于相对皮尔逊散度（RPE）推导出一种基于阈值的正则化方法，实现直观但理论严谨的策略更新。
• 通过显式最小化策略更新之间的RPE散度，提升深度强化学习中的学习稳定性和性能。

提出的方法

• 用基于相对皮尔逊散度（RPE）的正则化项替代PPO中的密度比裁剪，提供清晰的最小化目标。
• 通过将对称阈值映射到相对密度比域，推导出基于阈值的RPE正则化增益，确保与密度比非对称性的内在一致性。
• 将RPE散度用作软约束，以最小化最新策略与基线策略之间的距离，促进稳定且平滑的策略更新。
• 使用阈值参数ε控制正则化强度，保持直观设计的同时确保理论基础稳固。
• 将RPE正则化整合到策略优化目标中，与基于优势的学习及额外正则化（如熵正则化和TD正则化）相结合。
• 采用鲁棒优化器（td-AmsProp）实现该方法，并避免使用经验回放以降低内存开销，专注于自适应资格迹以实现高效学习。

实验结果

研究问题

• RQ1 基于RPE的正则化是否能提供比标准PPO中启发式裁剪更清晰、更原则性的最小化目标？
• RQ2 使用RPE散度是否能带来比对不对称密度比进行对称裁剪更平衡、更有效的策略正则化？
• RQ3 PPO-RPE是否能在多样化的强化学习基准中实现优于或等同于PPO和PPO-RB的任务性能？
• RQ4 PPO-RPE在训练过程中，其策略正则化强度与一致性与传统方法相比如何？

主要发现

• 在全部四个基准任务中，PPO-RPE的表现优于或等同于PPO和PPO-RB，包括HalfCheetah等复杂运动控制任务。
• 在HalfCheetah任务中，PPO-RPE表现更优，归因于更强且更一致的正则化，有助于避免陷入局部最优。
• PPO-RPE中的正则化项在整个训练过程中持续活跃，表明其对策略更新的约束比PPO和PPO-RB更持久，后者在阈值范围内时会关闭正则化。
• 在低维和高维控制任务中，PPO-RPE的学习收敛速度均快于PPO和PPO-RB。
• PPO-RPE中的正则化量（σ(ρ−ρ†)）始终更高，证实其具有更强且更均匀的策略约束。
• 理论分析表明，基于RPE的正则化提供了明确定义的最小化目标，解决了标准PPO优化目标中的模糊性问题。