[论文解读] Population-Guided Parallel Policy Search for Reinforcement Learning

Whiyoung Jung, Giseung Park+1 more|arXiv (Cornell University)|Jan 9, 2020

Reinforcement Learning in Robotics参考文献 34被引用 6

一句话总结

本文提出群体引导并行策略搜索（P3S），一种新颖的离策略强化学习框架。该框架中，多个相同的学习器共享一个公共的经验回放缓冲区，并通过最佳表现策略的软性引导，协同搜索最优策略。通过将最佳策略的行为融入修改后的损失函数并保持策略多样性，P3S在稀疏奖励环境中实现了更快的收敛速度和更优的性能表现，同时确保期望累计回报的单调提升。

ABSTRACT

In this paper, a new population-guided parallel learning scheme is proposed to enhance the performance of off-policy reinforcement learning (RL). In the proposed scheme, multiple identical learners with their own value-functions and policies share a common experience replay buffer, and search a good policy in collaboration with the guidance of the best policy information. The key point is that the information of the best policy is fused in a soft manner by constructing an augmented loss function for policy update to enlarge the overall search region by the multiple learners. The guidance by the previous best policy and the enlarged range enable faster and better policy search. Monotone improvement of the expected cumulative return by the proposed scheme is proved theoretically. Working algorithms are constructed by applying the proposed scheme to the twin delayed deep deterministic (TD3) policy gradient algorithm. Numerical results show that the constructed algorithm outperforms most of the current state-of-the-art RL algorithms, and the gain is significant in the case of sparse reward environment.

研究动机与目标

• 为解决稀疏奖励强化学习环境中学习缓慢且次优的问题。
• 通过多个智能体之间的协作学习，提升离策略深度强化学习的样本效率与收敛速度。
• 在策略空间中保持广泛的搜索区域，避免过早收敛至次优策略。
• 为现有离策略算法（如TD3）提供理论基础扎实、模块化的增强方法，确保期望回报的单调提升。
• 实现实用、可扩展且易于实现的并行训练，无需对基础算法进行架构修改。

提出的方法

• 多个具有独立策略与价值函数参数的相同学习器共享一个单一的公共经验回放缓冲区。
• 主管定期从所有学习器中识别出表现最佳的策略，并广播其参数以提供软性引导。
• 修改后的策略更新损失函数引入一个正则化项，促使每个学习器的策略尽可能接近最佳策略，其中可学习的权重为β。
• 在每个学习器的策略与最佳策略之间施加最小距离约束（d_min），以保持策略空间中的多样性，防止搜索区域坍塌。
• 通过修改策略损失以包含软性引导项，将该方法应用于TD3：L̃(ϕⁱ) = -𝔼[Q₁(s,πϕⁱ(s))] + 1_{i≠b} (β/2) ||πϕⁱ(s) - πϕᵇ(s)||²。
• 采用周期性更新机制（每M步）重新评估最佳策略，并动态调整引导强度β。

实验结果

研究问题

• RQ1 通过软策略引导的协作学习是否能提升离策略深度强化学习中的样本效率与收敛速度？
• RQ2 通过距离约束保持策略多样性是否能防止过早收敛并提升最终性能？
• RQ3 群体引导方法是否能确保在整个训练迭代过程中期望累计回报的单调提升？
• RQ4 在稀疏奖励环境中，与当前最先进算法相比，所提方法的表现如何？
• RQ5 P3S框架是否能有效且模块化地集成到现有离策略算法（如TD3）中，而无需架构修改？

主要发现

• P3S-TD3在多个MuJoCo环境中均实现了比标准TD3及其他最先进算法更快的收敛速度与更高的最终性能表现。
• 在稀疏奖励环境（如Delayed HalfCheetah-v1和Delayed Ant-v1）中，性能提升尤为显著，此时样本效率至关重要。
• 该算法在训练过程中表现出期望累计回报的单调提升，与理论分析一致，且性能未随时间退化。
• 采用软性引导与距离约束可防止搜索区域坍塌，维持广阔的探索区域，从而增强策略多样性。
• 超参数调优表明，d_min在不同环境中取0.02或0.05，β则自适应调整以平衡引导与探索。
• 该方法具有鲁棒性与泛化能力，可适用于任何离策略强化学习算法，仅需极少修改，如在TD3中成功实现集成所示。