[论文解读] On the Estimation Bias in Double Q-Learning

Zhizhou Ren, Guangxiang Zhu+4 more|arXiv (Cornell University)|Sep 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用 12

一句话总结

本文指出双Q-learning存在低估偏差，导致值函数估计中出现多个非最优不动点。为解决此问题，作者提出双有界Q-learning，利用抽象动态规划模块作为下界估计器以纠正低估问题，在Atari基准任务中显著提升了样本效率和收敛速度，优于基线方法。

ABSTRACT

Double Q-learning is a classical method for reducing overestimation bias, which is caused by taking maximum estimated values in the Bellman operation. Its variants in the deep Q-learning paradigm have shown great promise in producing reliable value prediction and improving learning performance. However, as shown by prior work, double Q-learning is not fully unbiased and suffers from underestimation bias. In this paper, we show that such underestimation bias may lead to multiple non-optimal fixed points under an approximate Bellman operator. To address the concerns of converging to non-optimal stationary solutions, we propose a simple but effective approach as a partial fix for the underestimation bias in double Q-learning. This approach leverages an approximate dynamic programming to bound the target value. We extensively evaluate our proposed method in the Atari benchmark tasks and demonstrate its significant improvement over baseline algorithms.

研究动机与目标

• 探究双Q-learning中次优收敛的根源，特别是由低估偏差引起的原因。
• 分析近似误差如何导致双Q-learning下贝尔曼算子出现多个非最优不动点。
• 提出一种可减少低估偏差并提升深度强化学习中收敛至最优策略的方法。
• 验证将抽象动态规划与双Q-learning结合以改善值函数估计的有效性。

提出的方法

• 作者引入一种双有界估计器，利用抽象动态规划（ADP）模块提供目标值的下界估计。
• ADP模块独立训练，通过简化MDP模型近似真实值函数，作为保守的下界。
• 最终的Q值估计结合双Q-learning目标与ADP下界，降低低估风险。
• 该方法可无缝集成至DDQN和裁剪双Q-learning等现有算法中，仅需极少架构修改。
• ADP模块通过监督学习在状态-动作对数据集上进行训练，使用蒙特卡洛回报作为目标。
• 整体训练目标在最小化贝尔曼误差的同时，利用ADP估计器对值函数估计进行约束。

实验结果

研究问题

• RQ1 双Q-learning中的低估偏差是否会导致值函数中出现多个非最优不动点？
• RQ2 贝尔曼算子的何种结构特性使其在近似误差下易收敛至次优解？
• RQ3 抽象动态规划模块能否作为有效下界，以纠正双Q-learning中的低估问题？
• RQ4 将ADP估计器与双Q-learning结合是否能提升深度强化学习中的样本效率与收敛速度？

主要发现

• 即使在近乎确定性的环境中，双Q-learning仍可能因低估偏差而收敛至多个非最优不动点。
• 所提出的双有界Q-learning方法通过引入抽象动态规划模块作为保守下界，有效减少了低估现象。
• 在Atari 57基准测试中，该方法在样本效率和收敛速度方面显著优于DDQN与裁剪双Q-learning。
• 消融实验表明，仅使用ADP模块效果有限，但与bootstrapping结合后性能显著提升。
• 训练批次中目标值的标准差降低，表明学习动态更加稳定。
• 在多个Atari环境中，该方法在平均分与中位数人类归一化得分上均优于基线方法。