[论文解读] Zap Q-Learning With Nonlinear Function Approximation

Shuhang Chen, Adithya M. Devraj+3 more|arXiv (Cornell University)|Oct 11, 2019

Reinforcement Learning in Robotics参考文献 60被引用 8

一句话总结

本文提出了一种使用非线性函数逼近的Zap Q-learning方法，采用受牛顿-拉夫森法启发的随机逼近框架，即使在使用神经网络时也能确保一致性与快速收敛。该方法在非退化条件下建立了理论稳定性，并在多种网络架构的OpenAI Gym环境中展示了快速且稳健的收敛性能。

ABSTRACT

Zap Q-learning is a recent class of reinforcement learning algorithms, motivated primarily as a means to accelerate convergence. Stability theory has been absent outside of two restrictive classes: the tabular setting, and optimal stopping. This paper introduces a new framework for analysis of a more general class of recursive algorithms known as stochastic approximation. Based on this general theory, it is shown that Zap Q-learning is consistent under a non-degeneracy assumption, even when the function approximation architecture is nonlinear. Zap Q-learning with neural network function approximation emerges as a special case, and is tested on examples from OpenAI Gym. Based on multiple experiments with a range of neural network sizes, it is found that the new algorithms converge quickly and are robust to choice of function approximation architecture.

研究动机与目标

• 为解决在深度强化学习设置下，使用非线性函数逼近时Q-learning存在的稳定性不足与收敛缓慢问题。
• 将Zap Q-learning的理论基础从表格型和最优停止情形扩展至一般非线性函数逼近器。
• 基于随机逼近理论，对Zap Q-learning提供严谨的稳定性与一致性分析。
• 在具有多样化神经网络架构的OpenAI Gym环境中，对算法进行实验验证。

提出的方法

• 该算法在随机逼近框架中使用受牛顿-拉夫森法启发的向量场，以加速收敛并确保一致性。
• 将Q-learning问题表述为一个求根任务：寻找θ*，使得E[ζₙDₙ₊₁] = 0，其中Dₙ₊₁为时序差分误差。
• 该方法采用带正则化的牛顿-拉夫森流，增益矩阵为Gₙ₊₁ = -[∂θf(θₙ, Φₙ₊₁)]⁻¹，以稳定更新过程。
• 采用递归估计雅可比矩阵，并应用低秩更新策略，将每步更新的计算成本从O(d³)降低至O(d²)。
• 在训练过程中引入随机平稳策略与ε-greedy探索机制以实现探索。
• 采用修改后的步长规则，其中ρ=0.85且n₀=100，并在矩阵求逆中使用小的ε=10⁻⁶进行正则化。

实验结果

研究问题

• RQ1 当使用如深度神经网络等非线性函数逼近器时，Zap Q-learning能否保持一致性和收敛性？
• RQ2 Zap Q-learning中受牛顿-拉夫森法启发的更新规则是否相比标准Q-learning与函数逼近方法具有更快的收敛速度？
• RQ3 Zap Q-learning对神经网络架构与超参数变化的鲁棒性如何？
• RQ4 在非线性函数逼近下，Zap Q-learning的理论稳定性保证是什么？
• RQ5 该算法是否能在无需精确调整学习率或网络规模的情况下实现快速收敛？

主要发现

• 在非退化假设下，使用非线性函数逼近的Zap Q-learning具有的一致性，将理论稳定性扩展至表格型和最优停止情形之外。
• 该算法在多个OpenAI Gym环境中表现出快速收敛，并对神经网络大小与架构的选择具有鲁棒性。
• 在Mountain Car、Acrobot和Cartpole环境中的实验表明，即使使用大型网络，学习曲线也保持稳定且收敛迅速。
• 通过使用正则化的牛顿-拉夫森流，误差项以指数形式衰减，如ODE近似f(wₜ) = f(w₀)e⁻ᵗ所示。
• 通过周期性更新增益矩阵，计算复杂度降低至O(Nd³/Nd + Nd²)，使该方法具备可扩展性。
• 该算法在不同超参数设置下均保持性能稳定，包括不同的ε-greedy探索率和步长规则。