[论文解读] On the Proof of Global Convergence of Gradient Descent for Deep ReLU Networks with Linear Widths

Quynh Nguyen|arXiv (Cornell University)|Jan 24, 2021

Stochastic Gradient Optimization Techniques参考文献 20被引用 10

一句话总结

本文提出了一种针对标准参数化深度ReLU网络中梯度下降全局收敛性的简化证明，仅需一个宽的隐藏层（宽度为线性、二次或三次方，取决于初始化方式），避免了对激活模式变化的复杂分析。与以往工作相比，通过仅追踪最后一层隐藏层的输出并利用ReLU的Lipschitz性质，该方法实现了更优的过参数化界。

ABSTRACT

We give a simple proof for the global convergence of gradient descent in training deep ReLU networks with the standard square loss, and show some of its improvements over the state-of-the-art. In particular, while prior works require all the hidden layers to be wide with width at least $Ω(N^8)$ ($N$ being the number of training samples), we require a single wide layer of linear, quadratic or cubic width depending on the type of initialization. Unlike many recent proofs based on the Neural Tangent Kernel (NTK), our proof need not track the evolution of the entire NTK matrix, or more generally, any quantities related to the changes of activation patterns during training. Instead, we only need to track the evolution of the output at the last hidden layer, which can be done much more easily thanks to the Lipschitz property of ReLU. Some highlights of our setting: (i) all the layers are trained with standard gradient descent, (ii) the network has standard parameterization as opposed to the NTK one, and (iii) the network has a single wide layer as opposed to having all wide hidden layers as in most of NTK-related results.

研究动机与目标

• 为标准参数化深度ReLU网络中梯度下降的全局收敛性提供一个更简单的证明。
• 与以往要求所有隐藏层都宽的文献相比，降低过参数化需求。
• 避免对训练过程中激活模式变化的复杂分析，这正是ReLU网络证明复杂化的主要技术障碍。
• 建立对训练样本数N具有改进宽度依赖关系的全局收敛性。
• 证明仅需一个宽的隐藏层——其宽度为N的线性、二次或三次方，具体取决于初始化类型。

提出的方法

• 该证明利用NTK矩阵最小特征值的下界，通过最后一层隐藏层的输出：λ_min(K) ≥ λ_min(F_{L-1}F_{L-1}^T)。
• 利用ReLU的Lipschitz性质，追踪F_{L-1}（即最后一层隐藏层的输出）在训练过程中的演化。
• 关键创新在于引入变换矩阵G = F_{L-1}^k W_L^{k+1}，将每轮迭代的损失分解，从而通过三角不等式实现清晰的收敛性论证。
• 该分析避免追踪完整的NTK矩阵或激活模式的变化，与以往基于NTK的ReLU网络证明不同。
• 推导出初始化的充分条件，以确保F_{L-1}F_{L-1}^T的最小特征值在初始化时远离零，并在整个训练过程中保持如此。
• 该方法依赖于所有层的标准梯度下降更新，不固定输入层或输出层，从而实现更自然、更透明的证明。

实验结果

研究问题

• RQ1 是否可以在不追踪激活模式变化的情况下，证明深度ReLU网络中梯度下降的全局收敛性？
• RQ2 当仅一个隐藏层为宽层时，全局收敛性的最小过参数化需求是什么？
• RQ3 是否可以通过仅关注最后一层隐藏层的输出而非完整NTK矩阵，来简化收敛性证明？
• RQ4 与以往工作相比，该方法是否实现了对N更优的宽度依赖关系？
• RQ5 在温和的初始化条件下，是否仍能通过标准参数化和所有层的完整训练，保证全局收敛性？

主要发现

• 在仅需一个宽隐藏层的前提下，建立了标准参数化深度ReLU网络中梯度下降的全局收敛性。
• 对于LeCun初始化，两层网络的宽度为N的二次方即足够，而更深的网络则需要N的三次方宽度。
• 过参数化需求的量级为O(N)至O(N^3)，优于以往要求所有隐藏层都宽时的O(N^8)。
• 该证明避免了对激活模式变化的分析，这正是ReLU网络分析中的主要技术难点。
• 该方法确保损失单调递减，并在固定网络规模下以高概率收敛至零，且与ε无关。
• 核心洞见在于：若F_{L-1}F_{L-1}^T的最小特征值在整个训练过程中远离零，则梯度下降可实现线性收敛至全局最优解。