[论文解读] Overparameterization of deep ResNet: zero loss and mean-field analysis

Zhiyan Ding, Shi Chen+2 more|arXiv (Cornell University)|May 30, 2021

Stochastic Gradient Optimization Techniques参考文献 43被引用 8

一句话总结

本文通过连续和平均场极限方法研究了过参数化的深度残差网络（ResNet），表明在大宽度和无限深度的条件下，梯度下降可收敛至零损失解。通过在平均场极限下推导基于PDE的梯度流，作者证明了解会收敛至全局最小值，并给出了实现高概率下近似零损失所需的深度与宽度的显式边界。

ABSTRACT

Finding parameters in a deep neural network (NN) that fit training data is a nonconvex optimization problem, but a basic first-order optimization method (gradient descent) finds a global optimizer with perfect fit (zero-loss) in many practical situations. We examine this phenomenon for the case of Residual Neural Networks (ResNet) with smooth activation functions in a limiting regime in which both the number of layers (depth) and the number of weights in each layer (width) go to infinity. First, we use a mean-field-limit argument to prove that the gradient descent for parameter training becomes a gradient flow for a probability distribution that is characterized by a partial differential equation (PDE) in the large-NN limit. Next, we show that under certain assumptions, the solution to the PDE converges in the training time to a zero-loss solution. Together, these results suggest that the training of the ResNet gives a near-zero loss if the ResNet is large enough. We give estimates of the depth and width needed to reduce the loss below a given threshold, with high probability.

研究动机与目标

• 解释为何在非凸性存在的情况下，过参数化ResNet中的梯度下降仍能实现零或近似零训练损失。
• 利用连续和平均场近似，在无限深度和宽度极限下分析深度ResNet的训练动力学。
• 证明在平均场极限下的梯度流收敛至全局最小值，意味着大尺寸有限网络可实现近似零损失。
• 提供实现损失低于给定阈值的显式定量估计，包括网络深度和宽度的要求。

提出的方法

• 通过令层数 $ L \to \infty $ 推导连续极限，将ResNet转化为带有编码参数配置的力项的常微分方程（ODE）。
• 在宽度 $ M \to \infty $ 时应用平均场极限，将ODE转化为普通积分方程（OIE），其中参数被概率分布所取代。
• 将有限参数上的梯度下降转化为大网络极限下对概率分布的梯度流，其由PDE表征。
• 利用PDE分析，特别是稳态平衡分析，证明在特定假设下PDE解会收敛至零损失状态。
• 在极限情形下证明ODE和PDE公式的适定性。
• 提供实现损失低于给定阈值的所需深度 $ L $ 和宽度 $ M $ 的定量估计。

实验结果

研究问题

• RQ1 在何种条件下，过参数化ResNet中的梯度下降会收敛至零损失解？
• RQ2 在无限深度和宽度极限下，ResNet的训练动力学行为如何？
• RQ3 ResNet的平均场极限能否由PDE描述，且其解是否收敛至全局最小值？
• RQ4 为确保以高概率实现近似零训练损失，所需深度和宽度的显式边界是什么？
• RQ5 连续和平均场极限过程如何将离散的梯度下降转化为对概率测度的连续梯度流？

主要发现

• 在适当假设下，从ResNet的平均场极限推导出的PDE会收敛至零损失解，表明在大网络极限下梯度下降可达到全局最小值。
• 在无限深度和无限宽度极限下，零损失收敛得到保证，且PDE解在长时间极限下实现零代价。
• 对于有限但规模较大的网络，只要深度 $ L $ 和宽度 $ M $ 足够大，损失可以以高概率降低至任意给定阈值以下。
• 推导出实现近似零损失所需的 $ L $ 和 $ M $ 的显式定量边界，其取决于期望的阈值和置信水平。
• 极限梯度流是适定的，且通过稳态平衡分析严格证明了PDE解向全局最小值的收敛性。
• 分析表明，有限网络中的梯度下降轨迹近似于PDE流，从而解释了GD在实践中实现零损失的成功。