[论文解读] Quasi-potential as an implicit regularizer for the loss function in the stochastic gradient descent

Wenqing Hu, Zhanxing Zhu+2 more|arXiv (Cornell University)|Jan 18, 2019

Markov Chains and Monte Carlo Methods参考文献 26被引用 9

一句话总结

本文引入准势能作为随机梯度下降（SGD）中的新型隐式正则化项，表明噪声协方差结构——尤其是各向异性——通过定义一个控制从局部极小值逃逸的势能函数，塑造了SGD的长期动态。利用大偏差理论和哈密顿-雅可比偏微分方程（PDE），本文证明各向异性噪声可加速逃逸，并使SGD偏向更平坦、更具泛化能力的极小值，即使原始损失值相等。

ABSTRACT

We interpret the variational inference of the Stochastic Gradient Descent (SGD) as minimizing a new potential function named the extit{quasi-potential}. We analytically construct the quasi-potential function in the case when the loss function is convex and admits only one global minimum point. We show in this case that the quasi-potential function is related to the noise covariance structure of SGD via a partial differential equation of Hamilton-Jacobi type. This relation helps us to show that anisotropic noise leads to faster escape than isotropic noise. We then consider the dynamics of SGD in the case when the loss function is non-convex and admits several different local minima. In this case, we demonstrate an example that shows how the noise covariance structure plays a role in "implicit regularization", a phenomenon in which SGD favors some particular local minimum points. This is done through the relation between the noise covariance structure and the quasi-potential function. Our analysis is based on Large Deviations Theory (LDT), and they are validated by numerical experiments.

研究动机与目标

• 提供一个统一的理论框架，解释SGD的噪声协方差结构如何在深度学习中诱导隐式正则化。
• 通过新的势能函数，形式化SGD随机动力学与其中心分布长期行为之间的联系。
• 证明各向异性噪声可通过准势能景观，导致更快地从尖锐极小值逃逸，并偏好选择更平坦、更具泛化能力的极小值。
• 利用大偏差理论与变分法，建立噪声协方差矩阵与最终准势能景观之间的定量联系。
• 通过数值实验验证理论框架，展示在不同噪声结构下极小值选择的偏差。

提出的方法

• 将全局准势能函数 φ^QP 定义为满足边界条件（由局部极小值盆地导出）的哈密顿-雅可比偏微分方程（PDE）的解。
• 通过一个显式依赖于损失景观与噪声协方差矩阵 D(x) 的变分问题，构建局部准势能。
• 应用大偏差理论（LDT）估算从局部极小值盆地中指数级微小的逃逸概率，通过逃逸路径上的作用积分将其与准势能联系起来。
• 利用SGD的马尔可夫性，将逃逸概率与逃逸时间关联，表明更小的逃逸概率意味着在盆地中更长的捕获时间。
• 在凸情况下解析求解哈密顿-雅可比PDE，在非凸例子中数值求解，以比较各向同性与各向异性噪声下的行为差异。
• 通过在具有受控噪声各向异性的多阱势能景观中进行SGD动力学的数值模拟，验证该框架。

实验结果

研究问题

• RQ1 SGD中的噪声协方差结构如何影响局部极小值的长期选择？
• RQ2 能否构建一个新的势能函数——准势能——以解释SGD中观察到的隐式正则化现象？
• RQ3 噪声协方差矩阵与最终准势能景观之间的数学关系是什么？
• RQ4 与各向同性噪声相比，各向异性噪声是否会导致更快地从尖锐局部极小值逃逸？原因是什么？
• RQ5 准势能框架如何解释SGD在原始损失值相等时仍偏好某些极小值的现象？

主要发现

• 在具有单个全局极小值的凸情况下，当噪声为各向同性时，全局准势能 φ^QP 退化为原始损失函数的常数倍。
• 数值实验确认，各向异性噪声可导致更快地从局部极小值盆地逃逸，例如在 μ = 1.9999 时比 μ = 1 时更早逃出单位圆盘。
• 数值结果表明，在各向异性噪声下，SGD倾向于沿噪声方差更高的方向优先逃逸，例如在例3.1中沿水平轴方向。
• 在具有两个对称极小值的非凸景观中，当一个盆地中噪声为各向异性（μ₁ = 1.9999），另一个为各向同性（μ₂ = 1.0001）时，SGD更倾向于选择各向同性盆地（O₂），表明噪声结构导致的选择偏差。
• 准势能框架将隐式正则化解释为局部极小值之间的马尔可夫链，其中转移速率通过哈密顿-雅可比PDE依赖于噪声协方差结构。
• 该框架通过将盆地逃逸时间与路径上的作用积分联系起来，为隐式正则化提供了定量机制，而该作用积分依赖于各向异性扩散矩阵 D(x)。