[论文解读] Noise, overestimation and exploration in Deep Reinforcement Learning

Rafael Stekolshchik|arXiv (Cornell University)|Jun 25, 2020

Reinforcement Learning in Robotics参考文献 6被引用 7

一句话总结

本文研究了噪声在深度强化学习中的双重作用：作为价值函数估计中导致有害高估的根源，以及作为有益的探索机制。研究分析了DQN、Double DQN、DDPG、TD3和爬山法（Hill-Climbing）中的噪声影响，重点针对PyBullet环境（如HopperBulletEnv和Walker2DBulletEnv）中TD3的噪声参数调优，并提出了在爬山法中引入自适应噪声以提升探索效率。

ABSTRACT

We will discuss some statistical noise related phenomena, that were investigated by different authors in the framework of Deep Reinforcement Learning algorithms. The following algorithms are touched: DQN, Double DQN, DDPG, TD3, Hill-Climbing. Firstly, we consider overestimation, that is the harmful property resulting from noise. Then we deal with noise used for exploration, this is the useful noise. We discuss setting the noise parameter in TD3 for typical PyBullet environments associated with articulate bodies such as HopperBulletEnv and Walker2DBulletEnv. In the appendix, in relation with the Hill-Climbing algorithm, we will look at one more example of noise: adaptive noise.

研究动机与目标

• 理解统计噪声如何导致DQN和Double DQN等基于价值的深度强化学习算法中出现高估现象。
• 考察噪声作为DDPG和TD3等演员-评论家方法中有效探索策略的适用性。
• 为PyBullet环境中运动任务的TD3算法提供噪声参数设置的实证指导。
• 探索爬山法中自适应噪声机制，以提升探索效率。

提出的方法

• 分析基于bootstrapped目标中的噪声如何导致价值网络的高估偏差，尤其在DQN和Double DQN中。
• 评估在DDPG和TD3中通过动作选择注入噪声以实现探索的方法，特别是在连续控制任务中的应用。
• 通过实验调优TD3在HopperBulletEnv和Walker2DBulletEnv中的噪声尺度超参数，以平衡探索与训练稳定性。
• 提出并评估一种在爬山法中应用的自适应噪声机制，其中噪声幅度根据学习进度和梯度大小动态调整。

实验结果

研究问题

• RQ1 价值函数目标中的噪声如何导致DQN和Double DQN中的高估？
• RQ2 在PyBullet运动环境中的TD3中，基于噪声的探索在多大程度上提升了样本效率？
• RQ3 在HopperBulletEnv和Walker2DBulletEnv中，为平衡探索与收敛性，TD3应采用何种最优噪声尺度？
• RQ4 与固定噪声探索相比，爬山法中的自适应噪声在收敛速度和最终性能方面表现如何？

主要发现

• 价值函数目标中的噪声在DQN和Double DQN中导致显著高估，尤其在方差较高的环境中更为明显。
• 经过恰当调优的噪声尺度，TD3在HopperBulletEnv和Walker2DBulletEnv中实现了稳定训练并提升了样本效率。
• TD3中的最优噪声尺度因环境而异，通常在训练初期采用较高值能更有效地提升探索能力。
• 爬山法中的自适应噪声减少了对人工超参数调优的依赖，并在稀疏奖励设置下加速了收敛。