[论文解读] On-Policy Trust Region Policy Optimisation with Replay Buffers

Dmitry Kangin, Nicolas Pugeault|arXiv (Cornell University)|Jan 18, 2019

Reinforcement Learning in Robotics参考文献 28被引用 4

一句话总结

该论文提出了一种新颖的基于策略信任区域强化学习算法，通过引入经验回放机制复用多个历史策略的数据，提升了样本效率。通过将启发式的信任区域参数替换为固定超参数，并使用可学习的对角协方差矩阵，该方法在MuJoCo环境上优于当前最优的基于策略（PPO、TRPO、ACKTR）和非基于策略（DDPG）方法。

ABSTRACT

Building upon the recent success of deep reinforcement learning methods, we investigate the possibility of on-policy reinforcement learning improvement by reusing the data from several consecutive policies. On-policy methods bring many benefits, such as ability to evaluate each resulting policy. However, they usually discard all the information about the policies which existed before. In this work, we propose adaptation of the replay buffer concept, borrowed from the off-policy learning setting, to create the method, combining advantages of on- and off-policy learning. To achieve this, the proposed algorithm generalises the $Q$-, value and advantage functions for data from multiple policies. The method uses trust region optimisation, while avoiding some of the common problems of the algorithms such as TRPO or ACKTR: it uses hyperparameters to replace the trust region selection heuristics, as well as the trainable covariance matrix instead of the fixed one. In many cases, the method not only improves the results comparing to the state-of-the-art trust region on-policy learning algorithms such as PPO, ACKTR and TRPO, but also with respect to their off-policy counterpart DDPG.

研究动机与目标

• 通过复用多个历史策略的数据，提升基于策略强化学习的样本效率。
• 解决基于策略方法在每次更新后丢弃先前策略数据的局限性。
• 通过用固定超参数替代启发式信任区域参数，消除对信任区域参数的手动调优。
• 通过在策略优化中引入可学习的对角协方差矩阵，提升训练稳定性和性能。
• 通过经验回放机制，将基于策略评估的优势与非基于策略的数据复用相结合。

提出的方法

• 将非基于策略学习中的经验回放机制适配至基于策略设置，存储来自多个近期策略的转移数据。
• 通过加权组合的方式，将Q值、价值函数和优势函数推广至融合多个策略数据的形式。
• 采用信任区域优化方法，使用固定的信任区域半径，替代TRPO和ACKTR中使用的启发式选择方法。
• 在策略网络中使用可学习的对角协方差矩阵，替代固定协方差矩阵，实现自适应策略探索。
• 采用自然梯度优化，并结合K-FAC类的曲率近似方法，实现稳定的策略更新。
• 维护一个历史策略的滚动缓冲区，其中每个转移数据均关联其对应策略的价值和优势估计值。

实验结果

研究问题

• RQ1 能否有效将非基于策略学习中的经验回放机制适配至基于策略强化学习，以提升样本效率？
• RQ2 将启发式信任区域参数替换为固定超参数，是否能提升训练稳定性和性能？
• RQ3 在基于策略信任区域优化中，可学习的对角协方差矩阵是否优于固定协方差矩阵？
• RQ4 所提方法在连续控制任务中，与当前最优的基于策略（PPO、TRPO、ACKTR）和非基于策略（DDPG）算法相比表现如何？
• RQ5 在基于策略训练中，为平衡数据复用与策略一致性，最优经验回放缓冲区深度是多少？

主要发现

• 在10个MuJoCo环境中的8个上，该方法优于PPO、TRPO和ACKTR，尤其在HumanoidStandup和Striker任务上提升显著。
• 在除HalfCheetah外的所有任务上，该方法的样本效率优于DDPG，且在HalfCheetah上性能相当。
• 在DDPG失败的任务（包括HumanoidStandup、Pusher、Striker和Thrower）中，该方法实现了稳定训练。
• 采用固定信任区域半径与可学习协方差矩阵的组合，降低了超参数敏感性，并提升了收敛稳定性。
• 在大多数任务中，回放缓冲区深度为3时性能最佳，尤其在HumanoidStandup任务上表现突出。
• 该方法在多个随机种子下表现出一致的性能，表明其训练过程具有鲁棒性且方差较低。