[论文解读] Variance Reduction for Deep Q-Learning using Stochastic Recursive Gradient

Haonan Jia, Xiao Zhang+5 more|arXiv (Cornell University)|Jul 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 23被引用 5

一句话总结

该论文提出SRG-DQN，一种新型深度Q-learning算法，利用随机递归梯度（SRG）降低梯度方差，从而消除在线强化学习中对不准确全梯度锚点的依赖。通过递归更新梯度估计并集成Adam优化，SRG-DQN在Atari游戏上的收敛速度更快、稳定性更高，性能优于基于SGD和SVRG的基线方法。

ABSTRACT

Deep Q-learning algorithms often suffer from poor gradient estimations with an excessive variance, resulting in unstable training and poor sampling efficiency. Stochastic variance-reduced gradient methods such as SVRG have been applied to reduce the estimation variance (Zhao et al. 2019). However, due to the online instance generation nature of reinforcement learning, directly applying SVRG to deep Q-learning is facing the problem of the inaccurate estimation of the anchor points, which dramatically limits the potentials of SVRG. To address this issue and inspired by the recursive gradient variance reduction algorithm SARAH (Nguyen et al. 2017), this paper proposes to introduce the recursive framework for updating the stochastic gradient estimates in deep Q-learning, achieving a novel algorithm called SRG-DQN. Unlike the SVRG-based algorithms, SRG-DQN designs a recursive update of the stochastic gradient estimate. The parameter update is along an accumulated direction using the past stochastic gradient information, and therefore can get rid of the estimation of the full gradients as the anchors. Additionally, SRG-DQN involves the Adam process for further accelerating the training process. Theoretical analysis and the experimental results on well-known reinforcement learning tasks demonstrate the efficiency and effectiveness of the proposed SRG-DQN algorithm.

研究动机与目标

• 解决由高方差梯度估计引起的深度Q-learning中的不稳定性和采样效率低下问题。
• 克服基于SVRG的方法在在线强化学习中的局限性，即由于非独立同分布、动态生成的转移数据，导致锚点估计不准确。
• 设计一种方差减少框架，通过使用递归梯度更新避免全梯度计算。
• 将自适应优化（Adam）与递归梯度估计相结合，以实现更快的收敛速度。
• 通过实验验证所提方法在奖励、收敛速度和训练稳定性方面优于当前最先进的DQN变体。

提出的方法

• 引入双层结构：外层从经验回放缓冲区采样N个转移，内层执行递归梯度更新。
• 采用受SARAH启发的递归梯度估计器，其中随机梯度通过利用历史梯度差值进行更新，而非依赖全批量锚点。
• 用递归更新的估计值替代SVRG中的锚点，避免了计算成本高昂的全梯度计算。
• 在每个外层循环末尾集成Adam优化器，以加速收敛并改善参数更新方向。
• 使用递归更新规则：$ g_{k} = g_{k-1} + \nabla f_{i_k}(\theta_k) - \nabla f_{i_k}(\theta_{k-1}) $，该规则在迭代过程中累积梯度信息。
• 理论分析表明，该方法以$ O(1/\varepsilon) $的IFO查询复杂度达到$ \varepsilon $-最优解，与方差减少方法的最佳已知速率一致。

实验结果

研究问题

• RQ1 递归梯度估计是否能在不依赖全梯度锚点的情况下，有效降低在线深度Q-learning中的方差？
• RQ2 与SVRG的锚点基方法相比，递归梯度更新在梯度准确性和训练稳定性方面表现如何？
• RQ3 将递归梯度估计与Adam优化结合，是否能在Atari环境中实现更快的收敛速度和更好的性能？
• RQ4 与SVR-DQN相比，SRG-DQN在梯度标准差方面减少了多少方差，具体体现在梯度标准差的降低程度上？
• RQ5 所提方法是否能在样本效率和最终性能上优于现有的SGD和SVRG基DQN变体？

主要发现

• 在平均回合长度实验中，SRG-DQN相比使用SGD的标准DQN实现了显著更快的收敛速度和更低的方差，表明其训练更稳定。
• 该算法将递归锚点与精确锚点之间的$ \ell_2 $距离大幅降低，证实了锚点估计准确性的提升。
• 平均而言，SRG-DQN将梯度标准差（第一层参数）降低了最多50%，尤其在训练后期更为明显。
• 在Atari游戏基准测试中，SRG-DQN在最终平均奖励得分上优于基于SGD的DQN和SVR-DQN，Breakout游戏中最高提升0.966，Q*bert中提升0.632。
• 递归梯度估计与Adam的结合使训练时间相比SVR-DQN减少了30%-40%，同时保持或提升了性能。
• 实证结果证实，SRG-DQN在稳定训练和降低方差方面优于现有方差减少基线方法，尤其在高方差、非平稳环境中表现更优。