[论文解读] Natural Gradient Deep Q-learning

Ethan Knight, Osher Lerner|arXiv (Cornell University)|Mar 20, 2018

Neural Networks and Applications参考文献 17被引用 5

一句话总结

该论文提出NGDQN，一种基于自然梯度的深度Q-learning算法，可在无需目标网络的情况下稳定训练并提高样本效率。通过利用费舍尔信息矩阵自适应地缩放参数更新，NGDQN在经典控制环境中实现了比标准DQN更快的收敛速度和更优的性能，甚至在某些情况下优于使用目标网络的DQN。

ABSTRACT

We present a novel algorithm to train a deep Q-learning agent using natural-gradient techniques. We compare the original deep Q-network (DQN) algorithm to its natural-gradient counterpart, which we refer to as NGDQN, on a collection of classic control domains. Without employing target networks, NGDQN significantly outperforms DQN without target networks, and performs no worse than DQN with target networks, suggesting that NGDQN stabilizes training and can help reduce the need for additional hyperparameter tuning. We also find that NGDQN is less sensitive to hyperparameter optimization relative to DQN. Together these results suggest that natural-gradient techniques can improve value-function optimization in deep reinforcement learning.

研究动机与目标

• 解决使用非线性函数逼近器进行训练时深度Q-learning（DQN）的不稳定性和超参数敏感性问题。
• 探究自然梯度方法是否能稳定深度强化学习中的值函数优化。
• 确定自然梯度是否能减少或消除DQN中对辅助组件（如目标网络）的需求。
• 在不同超参数设置下，评估NGDQN在多种控制任务（包括CartPole和LunarLander）中的性能表现。
• 比较近似FIM逆运算方法（如MinRes-QLP、线性共轭梯度法）与精确逆运算在计算成本和优化质量方面的有效性。

提出的方法

• 提出NGDQN，一种使用自然梯度下降优化Q网络参数的深度Q-learning智能体，取代标准的自适应梯度方法（如Adam）。
• 利用费舍尔信息矩阵（FIM）计算具有曲率感知的参数更新，该方法对重参数化不变，且在数据重排序下更稳定。
• 采用近似FIM逆运算技术（MinRes-QLP和线性共轭梯度法，即Linear CG）以降低计算成本，同时保持与精确逆运算相近的精度。
• 在标准DQN中应用经验回放和奖励裁剪，但将标准优化器替换为自然梯度更新，以提升训练稳定性。
• 在FIM逆运算过程中引入阻尼，阻尼因子通常为最大特征值的5%至10%，以防止对曲率估计的过拟合。
• 在OpenAI Gym环境（如CartPole、LunarLander、Acrobot）中训练NGDQN，并与基线DQN（有无目标网络）进行性能比较。

实验结果

研究问题

• RQ1 自然梯度优化是否能在不使用目标网络的情况下稳定深度Q-learning的训练？
• RQ2 NGDQN在多种控制环境中的性能与标准DQN（有无目标网络）相比如何？
• RQ3 NGDQN相较于标准DQN，在多大程度上降低了对超参数调优的敏感性？
• RQ4 近似FIM逆运算方法（MinRes-QLP、线性CG）在近似真实自然梯度更新时的准确性如何？
• RQ5 自然梯度是否能提升连续控制任务中深度Q-learning的样本效率和收敛速度？

主要发现

• NGDQN在所有测试环境中均优于无目标网络的DQN，实现了更高的平均回报和更快的收敛速度。
• NGDQN的性能不劣于使用目标网络的DQN，表明自然梯度可替代目标网络的稳定作用。
• NGDQN相较于标准DQN显著降低了对超参数调优的敏感性，在不同配置下表现出更强的鲁棒性。
• 近似FIM逆运算方法（MinRes-QLP和线性CG）产生的参数更新方向与精确逆运算相似，且幅度略小，证实了其有效性。
• FIM逆运算中的阻尼因子通常为最大特征值的5%至10%，表明在稳定性和精度之间实现了良好平衡。
• 近似FIM逆运算的计算时间远低于精确逆运算，使NGDQN在真实强化学习应用中具备可扩展性。