[论文解读] Sample Complexity and Overparameterization Bounds for Projection-Free Neural TD Learning.

Semih Çaycı, Siddhartha Satpathi+2 more|arXiv (Cornell University)|Mar 2, 2021

Stochastic Gradient Optimization Techniques参考文献 17被引用 4

一句话总结

本文提出了一种使用两层ReLU网络的神经TD学习的无投影收敛性分析，表明当网络宽度超过poly(ū, 1/ε)时，该方法可在poly(ū, 1/ε)次迭代或样本内收敛至真实值函数，误差不超过ε。该分析基于懒惰训练 regime 下网络参数的漂移分析，无需投影步骤。

ABSTRACT

We study the dynamics of temporal-difference learning with neural network-based value function approximation over a general state space, namely, \emph{Neural TD learning}. Existing analysis of neural TD learning relies on either infinite width-analysis or constraining the network parameters in a (random) compact set; as a result, an extra projection step is required at each iteration. This paper establishes a new convergence analysis of neural TD learning \emph{without any projection}. We show that the projection-free TD learning equipped with a two-layer ReLU network of any width exceeding $poly(\overline{ u},1/\epsilon)$ converges to the true value function with error $\epsilon$ given $poly(\overline{ u},1/\epsilon)$ iterations or samples, where $\overline{ u}$ is an upper bound on the RKHS norm of the value function induced by the neural tangent kernel. Our sample complexity and overparameterization bounds are based on a drift analysis of the network parameters as a stopped random process in the lazy training regime.

研究动机与目标

• 通过在无投影条件下分析收敛性，消除神经TD学习中对投影步骤的需求。
• 建立两层ReLU网络在神经TD学习中的样本复杂度和过参数化边界。
• 分析在懒惰训练 regime 下，网络参数作为被停止的随机过程的动力学。
• 在最小宽度和迭代次数要求下，提供对真实值函数的收敛保证，误差为ε。

提出的方法

• 该分析采用懒惰训练 regime 下将网络参数建模为被停止的随机过程的漂移分析。
• 该方法利用神经正切核（NTK）将值函数的RKHS范数以ū为界。
• 通过在随机梯度更新下分析参数漂移，实现无投影的收敛性。
• 当网络宽度超过poly(ū, 1/ε)时，证明其足够充分，确保收敛至ε精度。
• 通过时序差分学习与神经函数逼近，在一般状态空间上证明收敛性。
• 该框架避免了对紧致参数集或无限宽度假设的依赖，增强了实际适用性。

实验结果

研究问题

• RQ1 在现实的过参数化条件下，神经TD学习是否能在无投影步骤下收敛？
• RQ2 在无投影的神经TD学习中，为实现ε精度，所需的网络宽度是多少？
• RQ3 样本复杂度如何随RKHS范数上界ū和目标误差ε变化？
• RQ4 神经正切核在实现无投影收敛中起到什么作用？
• RQ5 在懒惰 regime 下对网络参数的漂移分析能否确保收敛至真实值函数？

主要发现

• 使用两层ReLU网络的神经TD学习可在无任何投影步骤的情况下收敛至真实值函数，误差为ε。
• 所需网络宽度由poly(ū, 1/ε)界定，其中ū是通过NTK对值函数RKHS范数的上界。
• 所需迭代次数或样本数为poly(ū, 1/ε)，确立了高效的样本复杂度。
• 收敛性通过在懒惰 regime 下将网络参数作为被停止的随机过程的漂移分析实现。
• 该分析避免了无限宽度或紧致参数集的假设，提升了实际相关性。
• 该方法首次为具有显式样本和宽度边界的神经TD学习提供了无投影收敛保证。