[论文解读] NROWAN-DQN: A Stable Noisy Network with Noise Reduction and Online Weight Adjustment for Exploration

Shuai Han, Wenbo Zhou+2 more|arXiv (Cornell University)|Jun 19, 2020

Reinforcement Learning in Robotics被引用 4

一句话总结

该论文提出NROWAN-DQN，一种新型DQN算法，通过引入可微分的噪声抑制机制和噪声网络的在线权重调节，增强了深度强化学习中的探索稳定性。通过引入一个可学习的确定性因子加速噪声衰减，NROWAN-DQN实现了更高的样本效率、更优的性能表现以及显著降低的得分方差——尤其在动作敏感型环境中表现更优，优于DQN和NoisyNet-DQN在多个环境中的表现。

ABSTRACT

Deep reinforcement learning has been applied more and more widely nowadays, especially in various complex control tasks. Effective exploration for noisy networks is one of the most important issues in deep reinforcement learning. Noisy networks tend to produce stable outputs for agents. However, this tendency is not always enough to find a stable policy for an agent, which decreases efficiency and stability during the learning process. Based on NoisyNets, this paper proposes an algorithm called NROWAN-DQN, i.e., Noise Reduction and Online Weight Adjustment NoisyNet-DQN. Firstly, we develop a novel noise reduction method for NoisyNet-DQN to make the agent perform stable actions. Secondly, we design an online weight adjustment strategy for noise reduction, which improves stable performance and gets higher scores for the agent. Finally, we evaluate this algorithm in four standard domains and analyze properties of hyper-parameters. Our results show that NROWAN-DQN outperforms prior algorithms in all these domains. In addition, NROWAN-DQN also shows better stability. The variance of the NROWAN-DQN score is significantly reduced, especially in some action-sensitive environments. This means that in some environments where high stability is required, NROWAN-DQN will be more appropriate than NoisyNets-DQN.

研究动机与目标

• 为解决NoisyNet-DQN在训练过程中因噪声衰减不足且过慢导致的不稳定与收敛缓慢问题。
• 提升深度强化学习中的探索效率与策略稳定性，尤其在高维与动作敏感型环境中。
• 设计一种可微分且可学习的机制，以加速噪声抑制，同时保持有效的探索能力。
• 通过引入新超参数$k_{\text{final}}$及其与学习率的交互作用，优化探索与利用之间的平衡。

提出的方法

• 提出一种可微分的噪声抑制机制，通过修改损失函数以加速NoisyNets中噪声参数($σ$)的衰减。
• 提出一种在线权重调节策略，动态控制参数更新中朝向噪声抑制与策略学习方向的比例。
• 引入新超参数$k_{\text{final}}$以调节噪声抑制因子的最终幅度，实现对探索-利用权衡的自适应控制。
• 推导出一种改进的损失函数，结合时序差分误差梯度与噪声抑制梯度，并引入一个在训练过程中演化的可学习缩放因子$k$。
• 采用混合更新规则，通过加权来自两个目标的梯度，平衡噪声抑制与策略学习。
• 在低维与高维环境（如CartPole、Pong等）中验证方法，结合超参数分析与消融研究。

实验结果

研究问题

• RQ1 所提出的噪声抑制机制如何影响NoisyNet-DQN中探索的稳定性与收敛速度？
• RQ2 在不同环境中，新超参数$k_{\text{final}}$的最优值是什么，以实现探索与利用的平衡？
• RQ3 $k_{\text{final}}$与学习率之间的交互作用如何影响学习动态与最终性能？
• RQ4 NROWAN-DQN在动作敏感型环境中，相较于DQN和NoisyNet-DQN，在得分、方差与稳定性方面有何优势？
• RQ5 可微分的噪声抑制机制能否在不破坏策略学习的前提下，有效集成到标准DQN训练中？

主要发现

• NROWAN-DQN在所有评估环境（包括CartPole和Pong）中均实现了显著高于DQN和NoisyNet-DQN的平均得分。
• 智能体性能得分的方差显著降低——尤其在动作敏感型环境中——展现出更优的稳定性。
• 当$k_{\text{final}} = 4$时，算法在不同学习率下均表现出最稳健的性能，表明该值在探索与利用之间达到最佳平衡。
• $k_{\text{final}}$过小会导致不稳定与高方差，而过大则会抑制探索并减缓学习速度。
• 在高维环境（如Pong）中，设置$k_{\text{final}} = 4$可维持强大的学习能力与稳定性能，证实其泛化能力。
• 与NoisyNet-DQN相比，该方法能更有效地加速噪声衰减，实现更快的稳定策略收敛，且不牺牲探索质量。