[论文解读] Quantitative Propagation of Chaos for SGD in Wide Neural Networks

Valentin De Bortoli, Alain Durmus+2 more|arXiv (Cornell University)|Jul 13, 2020

Markov Chains and Monte Carlo Methods参考文献 55被引用 13

一句话总结

该论文为宽两层神经网络中连续时间版本的随机梯度下降（SGD）建立了混沌传播的定量分析，表明当神经元数量 $N \to \infty$ 时，单个神经元收敛至一个平均场 McKean-Vlasov 扩散过程。关键贡献在于根据步长随 $N$ 的缩放方式，识别出两种不同的平均场行为模式——一种为确定性，另一种为隐式正则化——并提供了 Wasserstein 距离下的显式收敛速率。

ABSTRACT

In this paper, we investigate the limiting behavior of a continuous-time counterpart of the Stochastic Gradient Descent (SGD) algorithm applied to two-layer overparameterized neural networks, as the number or neurons (ie, the size of the hidden layer) $N o +\infty$. Following a probabilistic approach, we show 'propagation of chaos' for the particle system defined by this continuous-time dynamics under different scenarios, indicating that the statistical interaction between the particles asymptotically vanishes. In particular, we establish quantitative convergence with respect to $N$ of any particle to a solution of a mean-field McKean-Vlasov equation in the metric space endowed with the Wasserstein distance. In comparison to previous works on the subject, we consider settings in which the sequence of stepsizes in SGD can potentially depend on the number of neurons and the iterations. We then identify two regimes under which different mean-field limits are obtained, one of them corresponding to an implicitly regularized version of the minimization problem at hand. We perform various experiments on real datasets to validate our theoretical results, assessing the existence of these two regimes on classification problems and illustrating our convergence results.

研究动机与目标

• 理解当神经元数量 $N \to \infty$ 时，过参数化两层神经网络中 SGD 的极限行为。
• 分析步长随 $N$ 的缩放方式如何影响网络权重构成的粒子系统的平均场极限。
• 在 Wasserstein 范数下，建立单个神经元向其平均场极限的定量收敛速率。
• 识别并表征由不同步长依赖关系引发的两种截然不同的平均场行为模式：一种为确定性，另一种为隐式正则化。
• 在真实数据集（如 MNIST 和 CIFAR-10）上通过实验验证理论结果。

提出的方法

• 为具有 $N$ 个隐层单元的过参数化两层神经网络，构建了 SGD 的连续时间对应形式。
• 采用概率框架研究由网络权重定义的粒子系统，证明当 $N \to \infty$ 时混沌传播成立。
• 使用 Wasserstein 距离量化权重经验分布向平均场极限的收敛程度。
• 推导出作为平均场极限的 McKean-Vlasov SDE，其噪声结构取决于数据分布和步长缩放方式。
• 考虑依赖于 $N$ 和迭代次数的步长序列，从而支持时变且与 $N$ 相关的学习率。
• 在 MNIST 和 CIFAR-10 上进行数值实验，使用 PyTorch 验证权重分布向预测极限分布的收敛性。

实验结果

研究问题

• RQ1 SGD 步长随神经元数量 $N$ 的缩放方式如何影响网络权重动态的平均场极限？
• RQ2 在何种条件下，平均场极限表现出非零扩散（即隐式正则化）？这与标准的确定性平均场极限有何不同？
• RQ3 当 $N \to \infty$ 时，单个神经元在 Wasserstein 范数下向平均场解的定量收敛速率是多少？
• RQ4 理论上的平均场行为模式是否能在真实神经网络在标准数据集上的训练中被实证观察到？
• RQ5 小批量大小 $M$ 如何影响向平均场行为模式的收敛？

主要发现

• 该论文建立了网络权重经验分布向平均场 McKean-Vlasov 解的定量收敛，其收敛速率依赖于 $N$，以 Wasserstein 距离度量。
• 两种截然不同的平均场行为模式浮现：一种对应于确定性 ODE 流（标准平均场极限），另一种对应于具有数据依赖扩散项的非退化 McKean-Vlasov SDE。
• 当步长缩放为 $\gamma N^\beta$ 且 $\beta = 1$ 时，出现隐式正则化行为模式，导致极限 SDE 中出现非零协方差。
• 当 $\beta < 1$ 时，极限动力学为确定性；当 $\beta = 1$ 时，动力学为随机过程，其扩散系数依赖于数据分布。
• 在 MNIST 和 CIFAR-10 上的实验结果证实了两种行为模式的存在：权重分布的直方图根据 $\beta$ 值收敛至不同的极限分布，且在 $\beta = 1$ 处有明显分界。
• 观察到随着 $N$ 增大，经验权重分布向平均场极限的收敛性增强，且该收敛性也受小批量大小 $M$ 的影响，当 $M \to \infty$ 时收敛至极限。