[论文解读] SGD in the Large: Average-case Analysis, Asymptotics, and Stepsize Criticality

Courtney Paquette, Kiwon Lee+2 more|arXiv (Cornell University)|Feb 8, 2021

Stochastic Gradient Optimization Techniques参考文献 76被引用 4

一句话总结

本文提出了一种基于随机矩阵理论的新型平均情况分析框架，用于高维设置下随机梯度下降（SGD）的分析。结果表明，在固定步长下，SGD在随机最小二乘问题上的动态行为趋于确定性，并由一个伏尔泰拉积分方程所支配，揭示了在某一临界步长下收敛行为发生相变，且得到了显著优于最坏情况边界的显式平均情况收敛速率。

ABSTRACT

We propose a new framework, inspired by random matrix theory, for analyzing the dynamics of stochastic gradient descent (SGD) when both number of samples and dimensions are large. This framework applies to any fixed stepsize and the finite sum setting. Using this new framework, we show that the dynamics of SGD on a least squares problem with random data become deterministic in the large sample and dimensional limit. Furthermore, the limiting dynamics are governed by a Volterra integral equation. This model predicts that SGD undergoes a phase transition at an explicitly given critical stepsize that ultimately affects its convergence rate, which we also verify experimentally. Finally, when input data is isotropic, we provide explicit expressions for the dynamics and average-case convergence rates (i.e., the complexity of an algorithm averaged over all possible inputs). These rates show significant improvement over the worst-case complexities.

研究动机与目标

• 开发一种新的理论框架，用于分析当数据规模和模型维度均较大时SGD的动力学行为。
• 理解固定步长对SGD收敛性的影响，特别是在非渐近、有限求和设置下的表现。
• 推导能更准确反映实际性能的平均情况收敛速率，而非最坏情况边界。
• 识别SGD动力学发生相变的临界步长。

提出的方法

• 利用随机矩阵理论建模高维最小二乘问题中Hessian矩阵的特征值分布。
• 推导出在固定步长下控制SGD极限动态行为的确定性伏尔泰拉积分方程。
• 将伏尔泰拉方程的解表征为步长、强迫函数和特征值测度的函数。
• 在高维极限下，建立经验谱测度弱收敛于极限分布的性质。
• 将该方法应用于各向同性和单隐藏层数据模型，推导出显式的平均情况收敛速率。
• 通过数值模拟验证预测结果，将伏尔泰拉模型与SDE、SME及流式模型进行比较。

实验结果

研究问题

• RQ1 在样本量大、维度高的极限下，SGD在固定步长下的动态行为如何？
• RQ2 在有限求和、非渐近的设定下，SGD的动力学能否由一个确定性方程描述？
• RQ3 是否存在一个临界步长，使得SGD的收敛行为发生相变？
• RQ4 在各向同性数据下，SGD的平均情况收敛速率是多少？与最坏情况速率相比如何？
• RQ5 所提出的伏尔泰拉模型在预测实际SGD性能方面，相较于现有随机模型表现如何？

主要发现

• 在大样本、高维极限下，SGD在随机最小二乘问题上的动态行为收敛于伏尔泰拉积分方程的解。
• 在临界步长处发生相变，该临界步长被显式推导，并被证明对收敛速率产生不连续的影响。
• 对于各向同性数据，平均情况收敛速率显著优于最坏情况速率，且提供了显式的闭式表达式。
• 伏尔泰拉模型在各种步长下均能准确跟踪SGD的实际性能，其保真度优于SDE、SME和流式模型。
• 临界步长阈值被表示为参数与样本数之比以及Hessian矩阵特征值分布的函数。
• 数值实验验证了理论预测，显示伏尔泰拉模型与SGD动态行为高度吻合，而其他模型则引入了显著偏差。