[论文解读] Reducing Variance in Temporal-Difference Value Estimation via Ensemble of Deep Networks

Litian Liang, Yaosheng Xu+5 more|arXiv (Cornell University)|Sep 16, 2022

Mental Health Research Topics被引用 4

一句话总结

MeanQ 提出了一种简单的集成深度强化学习方法，通过平均五个独立的深度 Q-网络的预测结果，减少了时序差分值估计的方差。通过使用集成平均，MeanQ 实现了最先进水平的样本效率，在 Atari 基准测试中仅用 200K 次交互步数即达到平均人类水平的表现，优于 SUNRISE 和 Rainbow DQN 等基线方法。

ABSTRACT

In temporal-difference reinforcement learning algorithms, variance in value estimation can cause instability and overestimation of the maximal target value. Many algorithms have been proposed to reduce overestimation, including several recent ensemble methods, however none have shown success in sample-efficient learning through addressing estimation variance as the root cause of overestimation. In this paper, we propose MeanQ, a simple ensemble method that estimates target values as ensemble means. Despite its simplicity, MeanQ shows remarkable sample efficiency in experiments on the Atari Learning Environment benchmark. Importantly, we find that an ensemble of size 5 sufficiently reduces estimation variance to obviate the lagging target network, eliminating it as a source of bias and further gaining sample efficiency. We justify intuitively and empirically the design choices in MeanQ, including the necessity of independent experience sampling. On a set of 26 benchmark Atari environments, MeanQ outperforms all tested baselines, including the best available baseline, SUNRISE, at 100K interaction steps in 16/26 environments, and by 68% on average. MeanQ also outperforms Rainbow DQN at 500K steps in 21/26 environments, and by 49% on average, and achieves average human-level performance using 200K ($\pm$100K) interaction steps. Our implementation is available at https://github.com/indylab/MeanQ.

研究动机与目标

• 解决由值函数估计高方差引起的深度 Q-学习中的不稳定性和过估计问题。
• 探究集成平均是否足够降低方差，从而消除对目标网络（已知的偏差来源）的需求。
• 证明通过集成平均实现的方差减少可带来优于现有方法的样本效率和性能。
• 阐明关键设计选择（共享探索、共享经验回放缓冲区、独立经验采样）在实现有效集成学习中的作用。
• 通过消融研究排除其他解释（如模型大小或更新频率增加）对性能提升的影响。

提出的方法

• 使用五个独立的深度 Q-网络组成的集成来估计状态-动作值，目标值通过集成预测的平均值计算得出。
• 应用基于集成平均的共享探索策略，以确保经验收集期间行为的一致性。
• 为所有集成成员维护一个单一的共享经验回放缓冲区，以提高数据效率和经验多样性。
• 从经验回放缓冲区中对每个集成成员独立采样经验，以保持集成多样性并防止共适应。
• 使用经验回放和随机梯度下降同时训练所有集成成员，最小化基于自举目标的 TD 误差。
• 通过依赖集成平均来稳定学习并减少方差，从而消除滞后目标网络。

实验结果

研究问题

• RQ1 深度 Q-网络的集成平均是否足以降低值估计方差，从而消除对目标网络的需求？
• RQ2 独立经验采样如何影响基于集成的值估计的性能与稳定性？
• RQ3 MeanQ 的性能提升在多大程度上源于方差减少，而非模型容量增加或更新频率提高？
• RQ4 MeanQ 在样本效率和最终性能方面与最先进基线方法（如 SUNRISE 和 Rainbow DQN）相比如何？
• RQ5 共享探索和共享经验回缓存对集成方法有效性有何影响？

主要发现

• 在 16 个 Atari 环境中，MeanQ 在 100K 次交互步时优于 SUNRISE，且归一化回报平均提升 68%。
• 在 500K 步时，MeanQ 在 21 个 Atari 环境中超过 Rainbow DQN，且平均归一化回报高出 49%。
• MeanQ 仅用 200K ± 100K 次交互步即在 26 个 Atari 环境中达到平均人类水平表现。
• 由 5 个网络组成的集成足以显著降低估计方差，从而消除对目标网络的需求，进一步提升了样本效率。
• 消融研究显示，MeanQ 的性能提升并非源于模型大小或更新频率增加，而是特异地由集成平均带来的方差减少所致。
• 独立经验采样至关重要：若无此机制，集成多样性会退化，性能显著下降，凸显其在有效方差减少中的必要性。