[论文解读] P3O: Policy-on Policy-off Policy Optimization

Rasool Fakoor, Pratik Chaudhari+1 more|arXiv (Cornell University)|May 5, 2019

Reinforcement Learning in Robotics参考文献 44被引用 4

一句话总结

P3O 是一种新颖的强化学习算法，通过使用有效样本量（ESS）自动平衡在线更新与离线更新，结合了在线与离线更新的优点，无需手动调整超参数。该算法在 Atari-2600 和 MuJoCo 基准测试中实现了最先进水平的样本效率与性能，且在不同环境中使用固定的超参数。

ABSTRACT

On-policy reinforcement learning (RL) algorithms have high sample complexity while off-policy algorithms are difficult to tune. Merging the two holds the promise to develop efficient algorithms that generalize across diverse environments. It is however challenging in practice to find suitable hyper-parameters that govern this trade off. This paper develops a simple algorithm named P3O that interleaves off-policy updates with on-policy updates. P3O uses the effective sample size between the behavior policy and the target policy to control how far they can be from each other and does not introduce any additional hyper-parameters. Extensive experiments on the Atari-2600 and MuJoCo benchmark suites show that this simple technique is effective in reducing the sample complexity of state-of-the-art algorithms. Code to reproduce experiments in this paper is at https://github.com/rasoolfa/P3O.

研究动机与目标

• 解决离线强化学习中的样本效率与在线强化学习中的训练稳定性之间的权衡问题。
• 消除在结合在线与离线更新时手动调整超参数的需求。
• 开发一种统一且鲁棒的算法，能够在无需重新调参的情况下泛化至多样化环境。
• 使用有效样本量（ESS）作为原则性、自动化的机制，控制策略更新行为。

提出的方法

• P3O 使用单一目标函数，交替执行在线与离线策略梯度更新。
• 采用重要性采样，并设置剪裁阈值 c，其中 c 被设定为归一化的有效样本量（ESS）。
• 在行为策略 β 与目标策略 πθ 之间施加 KL 散度惩罚，其中 λ = 1 - ESS，用于控制策略偏离程度。
• 算法使用回放缓冲区存储离线经验，并通过计算 ESS 来衡量离线数据的质量。
• ESS 用于动态调整重要性采样剪裁阈值与 KL 正则化系数，使方法完全自动化。
• 通过直接从 ESS 导出 c 与 λ，避免引入额外超参数，确保在不同环境中的鲁棒性。

实验结果

研究问题

• RQ1 有效样本量（ESS）能否用于在强化学习中自动平衡在线与离线更新？
• RQ2 基于 ESS 的无超参数方法是否在标准基准测试中优于需手动调参的现有算法？
• RQ3 统一算法能否在多样化强化学习环境中同时实现样本效率与训练稳定性？
• RQ4 基于 ESS 的策略更新控制机制与传统基于超参数的混合方法相比，在性能与鲁棒性方面表现如何？

主要发现

• P3O 在 Atari-2600 基准测试中达到最先进性能，在全部 26 个游戏中均优于 A2C、PPO、Q-Prop 与 IPG。
• 在 MuJoCo 连续控制任务中，P3O 显著优于所有基线方法，在 300 万步后于 Half-Cheetah 任务中达到 5052 的平均回报。
• 在 Ant 任务中，P3O 达到 4727 的平均回报，超越 IPG（3943）与 Q-Prop（3374），展现出在复杂运动任务中的强大性能。
• 该算法在所有 MuJoCo 环境中均保持一致的性能表现，且使用固定超参数，表明其具有强大的泛化能力。
• P3O 在减少样本复杂度方面优于在线方法，同时避免了标准离线方法的不稳定性。
• 利用 ESS 作为动态控制机制，消除了对剪裁与正则化超参数手动调优的需求。