[论文解读] WD3: Taming the Estimation Bias in Deep Reinforcement Learning

Qiang He, Xinwen Hou|arXiv (Cornell University)|Jun 18, 2020

Reinforcement Learning in Robotics参考文献 20被引用 4

一句话总结

WD3 在深度强化学习中提出了一种用于孪生评论家的加权平均机制，以同时减少价值函数估计中的过估计偏差和欠估计偏差。通过学习两个评论家的可学习权重的凸组合，WD3 实现了更精确的价值估计，从而在连续控制任务中相比 DDPG 和 TD3 提升了样本效率和性能。

ABSTRACT

The overestimation phenomenon caused by function approximation is a well-known issue in value-based reinforcement learning algorithms such as deep Q-networks and DDPG, which could lead to suboptimal policies. To address this issue, TD3 takes the minimum value between a pair of critics. In this paper, we show that the TD3 algorithm introduces underestimation bias in mild assumptions. To obtain a more precise estimation for value function, we unify these two opposites and propose a novel algorithm \underline{W}eighted \underline{D}elayed \underline{D}eep \underline{D}eterministic Policy Gradient (WD3), which can eliminate the estimation bias and further improve the performance by weighting a pair of critics. To demonstrate the effectiveness of WD3, we compare the learning process of value function between DDPG, TD3, and WD3. The results verify that our algorithm does eliminate the estimation error of value functions. Furthermore, we evaluate our algorithm on the continuous control tasks. We observe that in each test task, the performance of WD3 consistently outperforms, or at the very least matches, that of the state-of-the-art algorithms\footnote{Our code is available at~\href{https://sites.google.com/view/ictai20-wd3/}{https://sites.google.com/view/ictai20-wd3/}.}.

研究动机与目标

• 解决基于值的深度强化学习算法中持续存在的估计偏差问题——包括过估计和欠估计。
• 指出 TD3 使用两个评论家的最小值会引入欠估计偏差，从而在连续控制任务中降低性能。
• 提出一种新算法，通过学习孪生评论家的加权平均来统一处理过估计和欠估计，以实现更精确的价值估计。
• 通过更优的价值函数估计，证明 WD3 能够提升策略学习的稳定性和在连续控制环境中的性能。

提出的方法

• 提出一种使用两个评论家的加权平均目标价值函数，其中权重 β 为可学习参数，以平衡过估计和欠估计。
• 引入改进的目标价值计算方式：y_target = r + γ * (β * Q1(s', a') + (1 - β) * Q2(s', a'))，用于动作价值函数估计。
• 采用与 TD3 相同的延迟策略更新和目标网络平滑技术，以稳定训练并减少过拟合。
• 通过两个评论家的凸组合，构建比单个评论家或 TD3 中最小运算符更鲁棒、更精确的价值估计。
• 端到端训练演员和评论家，采用策略梯度目标，其中评论家损失通过 Huber 损失最小化，以降低对异常值的敏感性。
• 引入超参数 β，可调节以平衡偏差与方差，实验表明在不同 β 值下均表现稳健。

实验结果

研究问题

• RQ1 TD3 中使用两个评论家的最小值是否在连续控制任务中引入了欠估计偏差？
• RQ2 两个评论家的加权组合是否能比使用单个评论家或最小运算符更有效地减少过估计和欠估计偏差？
• RQ3 WD3 的价值函数估计在训练过程中的准确性和稳定性方面，与 DDPG 和 TD3 相比如何？
• RQ4 可学习权重 β 对算法在不同环境中的性能和鲁棒性有何影响？
• RQ5 WD3 是否能在连续控制基准测试中持续实现相对于最先进算法的性能提升？

主要发现

• WD3 显著减少了价值函数学习中的估计偏差，表现为在整个训练过程中价值函数估计稳定且准确，优于 DDPG 和 TD3。
• 在 Ant 环境中，WD3 的价值函数估计始终接近真实值（通过蒙特卡洛滚动估计），而 DDPG 存在过估计，TD3 则表现出过估计和欠估计交替的阶段。
• WD3 在所有 OpenAI Gym 连续控制环境中均实现了稳定的性能提升，优于或匹配最先进算法。
• WD3 中的超参数 β 具有鲁棒性——性能在不同取值下保持稳定，表明 WD3 不需要大量超参数调优。
• WD3 的学习过程未表现出显著的过估计或欠估计，表明其在价值函数更新方面相比 DDPG 和 TD3 具有更优的稳定性。
• 理论与实证分析均证实，TD3 的最小运算符引入了欠估计偏差，而 WD3 通过评论家的凸组合有效缓解了该问题。