[论文解读] Stochastic Gradient Descent on Nonconvex Functions with General Noise Models

Vivak Patel, Shushu Zhang|arXiv (Cornell University)|Apr 1, 2021

Stochastic Gradient Optimization Techniques参考文献 6被引用 5

一句话总结

该论文为具有通用噪声模型的一类广泛非凸函数建立了随机梯度下降（SGD）几乎必然收敛到驻点的结果。论文证明，SGD几乎必然发散至无穷大，或收敛到一个驻点；当迭代点有界时，在温和的Hölder连续性和噪声控制假设下，梯度范数以概率收敛和期望收敛于零。

ABSTRACT

Stochastic Gradient Descent (SGD) is a widely deployed optimization procedure throughout data-driven and simulation-driven disciplines, which has drawn a substantial interest in understanding its global behavior across a broad class of nonconvex problems and noise models. Recent analyses of SGD have made noteworthy progress in this direction, and these analyses have innovated important and insightful new strategies for understanding SGD. However, these analyses often have imposed certain restrictions (e.g., convexity, global Lipschitz continuity, uniform Holder continuity, expected smoothness, etc.) that leave room for innovation. In this work, we address this gap by proving that, for a rather general class of nonconvex functions and noise models, SGD's iterates either diverge to infinity or converge to a stationary point with probability one. By further restricting to globally Holder continuous functions and the expected smoothness noise model, we prove that -- regardless of whether the iterates diverge or remain finite -- the norm of the gradient function evaluated at SGD's iterates converges to zero with probability one and in expectation. As a result of our work, we broaden the scope of nonconvex problems and noise models to which SGD can be applied with rigorous guarantees of its global behavior.

研究动机与目标

• 将SGD的收敛性保证从凸函数和强光滑设置扩展到更广泛的非凸函数类，并适用于通用噪声模型。
• 放宽对目标函数梯度的全局Lipschitz连续性或一致Hölder连续性的严格假设。
• 在最小噪声模型约束下分析SGD，允许噪声方差随梯度范数或函数值增长。
• 在迭代点有界时，即使在弱正则性条件下，也建立梯度范数几乎必然收敛于零的结果。
• 在单一理论框架下统一并推广Lei等人（2019）和Patel（2020）的先前结果，且假设条件最小化。

提出的方法

• 提出一种通用框架，通过真实梯度∇F(θ)的局部α-Hölder连续性，分析非凸目标函数上的SGD。
• 依赖于一种噪声模型，其中E[∥∇f(θ,X)∥²]被任意非负上半连续函数控制。
• 使用鞅差序列和超鞅论证，分析目标函数和梯度范数的演化过程。
• 应用Borel-Cantelli引理和几乎必然收敛技术，证明梯度范数最终将保持在任意δ > 0以下。
• 通过Hölder不等式和目标函数的下有界性推导出的矩界，建立梯度范数序列的统一可积性。
• 利用L²有界性结合梯度范数的几乎必然收敛，推导出L¹收敛。

实验结果

研究问题

• RQ1 在何种一般条件下，SGD对于具有任意噪声模型的非凸目标函数，几乎必然收敛到驻点？
• RQ2 是否可以在不假设真实梯度全局Lipschitz连续性的前提下，保证梯度范数收敛于零？
• RQ3 当噪声方差随梯度范数或函数值增长时，SGD的收敛行为如何变化？
• RQ4 这些结果能否推广至矩阵值学习率，同时保持收敛性保证？
• RQ5 在迭代点有界时，需满足何种条件，才能确保期望梯度范数收敛于零？

主要发现

• 对于下有界的非凸目标函数，其梯度具有局部α-Hölder连续性时，SGD几乎必然发散至无穷大，或收敛到一个驻点。
• 当迭代点有界时，真实梯度范数∥∇F(θₖ)∥₂以几乎必然收敛于零。
• 在相同条件下，梯度范数的期望值∥∇F(θₖ)∥₂以期望收敛于零。
• 在E[∥∇f(θ,X)∥²]被任意上半连续函数控制的一般噪声模型下，收敛结果依然成立。
• 该分析放宽了先前研究（如Lei等人，2019；Patel，2020）所采用的全局Lipschitz和一致Hölder连续性假设。
• 证明建立了梯度范数序列的统一可积性，从而实现从几乎必然收敛到L¹收敛。