[论文解读] Universal scaling laws in the gradient descent training of neural networks

Maksim Velikanov, Dmitry Yarotsky|arXiv (Cornell University)|May 2, 2021

Stochastic Gradient Optimization Techniques参考文献 30被引用 5

一句话总结

本文建立了宽深度神经网络在梯度下降训练过程中损失的普适幂律标度律，表明损失按 $ L(t) \sim t^{-\xi} $ 衰减，其中指数 $ \xi $ 仅取决于数据维度 $ d $、激活函数平滑度及目标函数类。通过神经正切核（NTK）的谱分析，作者推导出损失、特征值及系数分布的显式渐近形式，证实了其在多种数据和激活函数下的普适性。

ABSTRACT

Current theoretical results on optimization trajectories of neural networks trained by gradient descent typically have the form of rigorous but potentially loose bounds on the loss values. In the present work we take a different approach and show that the learning trajectory can be characterized by an explicit asymptotic at large training times. Specifically, the leading term in the asymptotic expansion of the loss behaves as a power law $L(t) \sim t^{-ξ}$ with exponent $ξ$ expressed only through the data dimension, the smoothness of the activation function, and the class of function being approximated. Our results are based on spectral analysis of the integral operator representing the linearized evolution of a large network trained on the expected loss. Importantly, the techniques we employ do not require specific form of a data distribution, for example Gaussian, thus making our findings sufficiently universal.

研究动机与目标

• 开发宽深度神经网络中梯度下降长期行为的定量、普适理论。
• 通过显式幂律形式，表征训练损失的渐近衰减，超越松散的界。
• 确定损失衰减指数 $ \xi $ 对数据维度 $ d $、激活函数平滑度及目标函数类的依赖关系。
• 确立这些标度律与数据分布无关，具有广泛适用性。
• 通过特征值与系数分布的数值实验验证理论预测。

提出的方法

• 对在期望损失上训练的宽网络的线性化演化算子应用谱分析。
• 使用神经正切核（NTK）建模训练动力学，重点关注其特征值谱与特征向量展开。
• 推导损失 $ L(t) \sim t^{-\xi} $、特征值 $ \lambda_n \sim n^{-\nu} $ 及系数部分和 $ s_n \sim n^{-\kappa} $ 的渐近幂律。
• 利用奇异积分算子理论分析 NTK 的结构，特别是其一阶齐次奇点。
• 通过 $ \xi = \frac{\beta}{d+\alpha} $ 将损失指数 $ \xi $ 与激活函数平滑度及目标函数关联，其中 $ \beta $ 和 $ \alpha $ 编码平滑度信息。
• 通过在浅层 ReLU 和 Erf 激活网络上对多种数据分布进行数值实验，验证理论预测。

实验结果

研究问题

• RQ1 在宽深度神经网络的长时间梯度下降中，损失的显式渐近形式是什么？
• RQ2 损失衰减指数 $ \xi $ 如何依赖于数据维度 $ d $、激活函数平滑度及目标函数类？
• RQ3 损失衰减能否被一个与数据分布无关的普适幂律所表征？
• RQ4 NTK 特征值谱与损失衰减动力学之间有何关系？
• RQ5 目标函数特征向量展开中的系数如何贡献于损失标度？

主要发现

• 损失按 $ L(t) \sim t^{-\xi} $ 衰减，其中对于近似指示函数的 ReLU 网络，$ \xi = \frac{1}{d+1} $。
• 对于由随机初始化的宽 ReLU 网络生成的目标函数，$ \xi = \frac{3}{d+1} $。
• 对于 ReLU 激活，NTK 特征值遵循幂律 $ \lambda_n \sim n^{-1 - \frac{1}{d}} $；而对于 Erf 激活，其特征值呈指数衰减 $ \lambda_n \sim \Lambda e^{-an} $。
• 在特征向量展开中，系数部分和对高斯过程目标函数满足 $ s_n \sim n^{-\frac{3}{d}} $，对指示函数目标函数满足 $ s_n \sim n^{-\frac{1}{d}} $。
• 在 $ d=2 $ 和 $ d=4 $ 的数值实验中，损失、特征值与系数的理论幂律均得到验证。
• 标度律对数据分布具有鲁棒性：对称分布诱导退化特征值谱，而混合非对称分布则使谱更平滑，但幂律关系依然保持。