[论文解读] Trainability and Accuracy of Neural Networks: An Interacting Particle System Approach

Grant M. Rotskoff, Eric Vanden‐Eijnden|arXiv (Cornell University)|May 2, 2018

Markov Chains and Monte Carlo Methods参考文献 36被引用 96

一句话总结

本文将神经网络训练重新表述为一个相互作用粒子系统，并证明在网络宽度较大时，参数的经验分布收敛到全局最小值，且收敛误差按 O(n^{-1}) 量级；还对 SGD 噪声和训练指南进行了分析。

ABSTRACT

Neural networks, a central tool in machine learning, have demonstrated remarkable, high fidelity performance on image recognition and classification tasks. These successes evince an ability to accurately represent high dimensional functions, but rigorous results about the approximation error of neural networks after training are few. Here we establish conditions for global convergence of the standard optimization algorithm used in machine learning applications, stochastic gradient descent (SGD), and quantify the scaling of its error with the size of the network. This is done by reinterpreting SGD as the evolution of a particle system with interactions governed by a potential related to the objective or "loss" function used to train the network. We show that, when the number $n$ of units is large, the empirical distribution of the particles descends on a convex landscape towards the global minimum at a rate independent of $n$, with a resulting approximation error that universally scales as $O(n^{-1})$. These properties are established in the form of a Law of Large Numbers and a Central Limit Theorem for the empirical distribution. Our analysis also quantifies the scale and nature of the noise introduced by SGD and provides guidelines for the step size and batch size to use when training a neural network. We illustrate our findings on examples in which we train neural networks to learn the energy function of the continuous 3-spin model on the sphere. The approximation error scales as our analysis predicts in as high a dimension as $d=25$.

研究动机与目标

• 激发对训练后神经网络近似误差进行严格理解的必要性。
• 引入一个相互作用粒子系统框架，用于分析宽度较大的神经网络中的 GD/SGD 动力学。
• 表明网络参数的经验分布收敛到全局最小值，并量化近似误差的缩放。
• 推导经验分布的大数定律与中心极限定理，以表征有限宽度下的波动。
• 基于训练过程的噪声结构，提供 SGD 的步长和小批量大小等实际指南。

提出的方法

• 将网络参数表示为具有由损失导出的相互作用势的粒子。
• 推导参数经验分布的演化方程，并在 2-Wasserstein 度量下证明其在凸景观中下降。
• 确立大数定律：f_t^{(n)} 收敛到求解非线性 Liouville/McKean–Vlasov 型方程的 f_t。
• 证明 f_t^{(n)} 相对于 f_t 的波动服从中心极限定理，波动阶为 O(n^{-1/2})，并讨论收敛到 O(n^{-1}) 的情形。
• 将分析扩展到随机梯度下降和在线 SGD，推导批量大小 P 相对于网络宽度 n 的缩放关系。
• 在高维球面 3-自旋模型、高斯核和单隐藏层网络上说明结果。

实验结果

研究问题

• RQ1 当网络单元数量 n 较大时，SGD/GD 的收敛行为是什么，训练误差如何随 n 变化？
• RQ2 是否可以通过参数的经验分布来理解训练动力学，从而得到大数定律和中心极限定理？
• RQ3 梯度下降和 SGD 在噪声结构上有何差异，对步长和批量大小有何实际影响？
• RQ4 极限分布方法是否具有通用近似性质，并为高维网络设计提供指引？
• RQ5 在具体模型（如球面上的 3-自旋）中的训练动力学的定量行为是什么，是否与理论预测一致？

主要发现

• 网络参数的经验分布在与 n 无关的时间尺度上收敛到全局最小值。
• 近似误差在 n→∞ 时在任意维度 d 上普遍按 O(n^{-1}) 量级扩大。
• 相对于 LLN 极限的波动在有限 n 时为 O(n^{-1/2})，并且在较长时间内可以收敛到 O(n^{-1})。
• 在在线 SGD 中，批量大小 P = O(n^{2α})，α>0 时，LLN 及部分 CLT 结果仍成立；若 α∈(0,1) 时精度降至 O(n^{-α})，但 α≥1 时恢复原始速率。
• 该框架为在 SGD 中实现最优误差的步长和批量大小提供了实际指南。
• 使用高维到 d=25 的 3-自旋模型的数值说明显示了径向基和单隐藏层网络的预测误差缩放。