[论文解读] Stochastic Variance Reduction for Policy Gradient Estimation

Tian-Bing Xu, Qiang Liu+1 more|arXiv (Cornell University)|Oct 17, 2017

Reinforcement Learning in Robotics参考文献 28被引用 10

一句话总结

该论文提出SVRPO，一种基于随机方差减少的策略优化方法，将SVRG的方差减少技术整合进TRPO的信任区域框架中，在连续控制任务中显著提升了样本效率。该方法通过降低梯度方差并利用曲率信息，在Mujoco基准测试（如Swimmer、Walker、Hopper和Ant）上相比TRPO实现了更优性能。

ABSTRACT

Recent advances in policy gradient methods and deep learning have demonstrated their applicability for complex reinforcement learning problems. However, the variance of the performance gradient estimates obtained from the simulation is often excessive, leading to poor sample efficiency. In this paper, we apply the stochastic variance reduced gradient descent (SVRG) to model-free policy gradient to significantly improve the sample-efficiency. The SVRG estimation is incorporated into a trust-region Newton conjugate gradient framework for the policy optimization. On several Mujoco tasks, our method achieves significantly better performance compared to the state-of-the-art model-free policy gradient methods in robotic continuous control such as trust region policy optimization (TRPO)

研究动机与目标

• 解决模型无关强化学习中策略梯度估计的高方差问题，以提升样本效率。
• 通过减少策略更新中的梯度方差，改善信任区域策略优化（TRPO）的收敛性和稳定性。
• 将随机方差减少（SVRG）整合进TRPO框架，以提升在连续控制任务中的性能。
• 通过利用控制变量子和曲率信息，实现对轨迹的更高效利用。

提出的方法

• 将SVRG技术应用于在线策略强化学习中，以降低策略梯度估计的方差。
• 在使用Fisher信息矩阵进行曲率校正的信任区域牛顿-CG优化框架中集成SVRG。
• 基于估计的值函数使用控制变量子，进一步降低策略更新中的梯度方差。
• 采用轨迹的随机小批量采样来计算方差减少的梯度，同时保持在线策略的一致性。
• 利用Fisher信息矩阵提供二阶信息以指导策略更新，提升收敛稳定性。
• 结合随机小批量估计与信任区域约束，实现探索与利用的平衡。

实验结果

研究问题

• RQ1 随机方差减少（SVRG）是否能显著提升连续控制任务中策略梯度方法的样本效率？
• RQ2 将SVRG与信任区域优化结合，对Mujoco环境中收敛速度和最终性能有何影响？
• RQ3 通过控制变量子和曲率信息实现的方差减少，在多大程度上提升了策略学习的稳定性？
• RQ4 所提出的方法在样本效率和最终回报方面是否优于SOTA在线策略方法（如TRPO）？

主要发现

• SVRPO在Swimmer、Walker、Hopper和Ant等Mujoco任务上相比TRPO取得了显著更优的性能。
• 该方法降低了梯度方差，相比原始策略梯度和TRPO，实现了更稳定且更快的收敛。
• 在Swimmer和Walker任务中，TRPO因梯度方差过高而无法改进，但SVRPO成功学习到了有效策略。
• SVRPO中控制变量子和Fisher信息矩阵的使用，带来了更高效的策略更新和更优的样本效率。
• 系统性实验证明，SVRPO达到更高回报所需的环境交互次数少于TRPO，展现出显著提升的样本效率。