[论文解读] Stochastic gradient descent with noise of machine learning type. Part II: Continuous time analysis

Stephan Wojtowytsch|arXiv (Cornell University)|Jun 4, 2021

Neural Networks and Applications被引用 6

一句话总结

本文通过随机微分方程（SDE）对连续时间下的随机梯度下降（SGD）进行分析，其中噪声具有机器学习类型的特性。结果表明，与经典SGD中同质噪声不同，该噪声机制在非凸优化中诱导对平坦极小值的偏好，因为不变测度由于噪声与目标函数值成比例而集中于损失曲面的平坦区域。

ABSTRACT

The representation of functions by artificial neural networks depends on a large number of parameters in a non-linear fashion. Suitable parameters of these are found by minimizing a 'loss functional', typically by stochastic gradient descent (SGD) or an advanced SGD-based algorithm. In a continuous time model for SGD with noise that follows the 'machine learning scaling', we show that in a certain noise regime, the optimization algorithm prefers 'flat' minima of the objective function in a sense which is different from the flat minimum selection of continuous time SGD with homogeneous noise.

研究动机与目标

• 理解当噪声强度与目标函数值成比例时（如在过参数化的深度学习中出现的情况），随机梯度下降（SGD）的长期行为。
• 研究机器学习特有的噪声——在全局极小值处趋于消失——如何改变SGD的不变分布，相较于经典同质噪声模型。
• 证明玻尔兹曼分布无法准确描述在机器学习类型噪声下的长期动力学。
• 证明由于噪声的退化性与缩放特性，优化过程倾向于选择平坦极小值。
• 推导一个Poincaré-Hardy不等式，以表征在新噪声机制下关联的Fokker-Planck算子的谱性质。

提出的方法

• 将SGD建模为连续时间Itô随机微分方程（SDE），其中噪声强度与损失函数的平方根成正比：$ d heta_t = - abla L( heta_t) dt + \frac{1}{2}\nabla \theta_t \frac{1}{\theta_t} dt + \frac{1}{2}\nabla \theta_t \frac{1}{\theta_t} dt $。
• 利用与扩散过程生成元相关的Fokker-Planck方程，分析SDE的不变测度。
• 通过一种新颖的Hardy型不等式建立加权Poincaré不等式，将损失曲面的几何结构与不变测度的集中性联系起来。
• 使用截断函数技术和能量估计，证明弱形式PDE中梯度项在极限下趋于零。
• 应用椭圆PDE的局部正则性理论，处理扩散矩阵在极小值集处的退化性。
• 证明不变测度集中在全局极小值集合上，且由于损失依赖的噪声缩放，对平坦区域存在偏好。

实验结果

研究问题

• RQ1 在长时间极限下，具有机器学习类型噪声的SGD的不变分布与经典玻尔兹曼分布有何不同？
• RQ2 在全局极小值处趋于消失的噪声对非凸优化中极小值的选择有何影响？
• RQ3 能否为噪声强度与目标函数成比例的退化扩散过程建立Poincaré型不等式？
• RQ4 在机器学习类型噪声下，优化过程是否偏好平坦极小值？若是，原因是什么？
• RQ5 损失曲面的几何结构——特别是平坦性——如何与损失依赖噪声下的不变测度相互作用？

主要发现

• 具有机器学习类型噪声的连续时间SGD的不变测度集中在全局极小值集合上，但由于损失依赖的噪声缩放，对平坦区域存在偏好。
• 经典玻尔兹曼分布无法描述长期动力学，因为噪声强度在极小值处消失，导致标准平衡假设失效。
• 在损失函数在极小值集合及无穷远处呈二次行为的假设下，建立了Poincaré-Hardy不等式，从而实现对Fokker-Planck算子的谱分析。
• 证明依赖于截断函数技术与能量估计，表明弱形式PDE中梯度项在极限下趋于零，从而确认测度集中在极小值集合上。
• 该方法揭示了噪声诱导的漂移与扩散结构更倾向于损失值不仅小且平坦的区域，因为噪声幅度与损失值成正比。
• 该结果在参数空间维度、损失函数齐次性与学习率缩放之间满足相容性条件时成立，确保了不变测度的存在性。