[论文解读] On the Reduction of Variance and Overestimation of Deep Q-Learning

Mohammed Sabry, Amr M. A. Khalifa|arXiv (Cornell University)|Oct 14, 2019

Face and Expression Recognition参考文献 24被引用 7

一句话总结

本文提出将Dropout正则化整合到深度Q网络（DQN）中，以减少Q值预测中的方差和过度估计。通过在训练过程中应用Dropout，该方法稳定了学习过程，降低了策略性能的方差，并减少了过度估计——在CartPole和Gridworld等基准环境中的显著改进，体现了更高的稳定性和更低的标准差。

ABSTRACT

The breakthrough of deep Q-Learning on different types of environments revolutionized the algorithmic design of Reinforcement Learning to introduce more stable and robust algorithms, to that end many extensions to deep Q-Learning algorithm have been proposed to reduce the variance of the target values and the overestimation phenomena. In this paper, we examine new methodology to solve these issues, we propose using Dropout techniques on deep Q-Learning algorithm as a way to reduce variance and overestimation. We also present experiments conducted on benchmark environments, demonstrating the effectiveness of our methodology in enhancing stability and reducing both variance and overestimation in model performance.

研究动机与目标

• 解决深度Q学习（DQN）中长期存在的方差和过度估计问题，这些问题会阻碍训练稳定性和性能。
• 探究在监督学习中广泛使用的Dropout正则化是否能缓解强化学习中的这些问题。
• 通过实验评估不同Dropout变体在稳定DQN训练和减少动作值过度估计方面的有效性。
• 证明Dropout可作为一种简单而有效的正则化技术，无需修改网络架构即可提升DQN性能。
• 探索将Dropout与其它DQN变体结合的潜力，以提升其在复杂强化学习环境中的适用性。

提出的方法

• 在标准DQN架构的全连接层之间应用Dropout层，具体位于输入层与第一隐藏层之间，以及两个隐藏层之间。
• 对隐藏层使用标准Dropout，Dropout率为0.5；对输入层使用0.2的Dropout率，遵循原始DQN论文的建议。
• 使用ADAM优化器最小化DQN损失函数，保持与标准DQN训练过程的一致性。
• 评估多种Dropout变体，包括高斯Dropout和变分Dropout，以比较其对方差和过度估计的影响。
• 在基准环境（CartPole和Gridworld）上进行训练，共进行50次独立实验，以确保统计可靠性。
• 使用Wilcoxon符号秩检验评估性能提升和方差减少的统计显著性。

实验结果

研究问题

• RQ1 Dropout技术能否有效减少DQN训练期间Q值估计的方差？
• RQ2 应用Dropout是否能显著降低DQN中动作值的过度估计？
• RQ3 不同Dropout变体（如高斯Dropout、变分Dropout）在不同环境中的DQN性能稳定性方面表现如何比较？
• RQ4 Dropout能否在不修改核心算法或网络架构的前提下提升DQN的收敛性和稳定性？
• RQ5 Dropout带来的性能提升在多次训练运行中是否具有统计显著性？

主要发现

• Dropout-DQN显著降低了性能方差，与标准DQN相比，使用高斯Dropout的方差标准差降低了14.72%。
• 变分Dropout相比标准DQN将方差降低了48.89%，表明在训练稳定性方面有显著的统计改善。
• 其中一种Dropout-DQN变体在累积奖励上优于标准DQN，表明其具有更优的策略学习能力。
• 在Gridworld环境中，Dropout-DQN表现出更低的过度估计，预测的Q值更接近最优策略的真实值。
• Dropout-DQN方法的损失曲线收敛更快且保持更低水平，表明梯度估计更准确，策略评估更优。
• 通过Wilcoxon符号秩检验的统计分析证实，所有测试环境中方差的降低均具有统计显著性（p < 0.05）。