[论文解读] The Complexity of Finding Stationary Points with Stochastic Gradient Descent

Yoel Drori, Ohad Shamir|arXiv (Cornell University)|Oct 4, 2019

Stochastic Gradient Optimization Techniques参考文献 24被引用 12

一句话总结

本文建立了在光滑、可能非凸优化中寻找驻点的随机梯度下降（SGD）迭代复杂度的基本下界。结果表明，在无额外假设（如Lipschitz Hessian、发散噪声或有界维度）的情况下，Ghadimi和Lan提出的$\epsilon^{-4}$复杂度界是紧致的，即使对于凸二次函数也成立，这意味着在标准准则下，除非引入此类假设，否则SGD无法实现优于$\epsilon^{-4}$的收敛速度。

ABSTRACT

We study the iteration complexity of stochastic gradient descent (SGD) for minimizing the gradient norm of smooth, possibly nonconvex functions. We provide several results, implying that the $\mathcal{O}(ε^{-4})$ upper bound of Ghadimi and Lan~\cite{ghadimi2013stochastic} (for making the average gradient norm less than $ε$) cannot be improved upon, unless a combination of additional assumptions is made. Notably, this holds even if we limit ourselves to convex quadratic functions. We also show that for nonconvex functions, the feasibility of minimizing gradients with SGD is surprisingly sensitive to the choice of optimality criteria.

研究动机与目标

• 确定SGD在最小化梯度范数时的$\epsilon^{-4}$迭代复杂度是否可被改进。
• 识别出哪些假设（如Lipschitz Hessian、发散噪声或有界维度）是打破$\epsilon^{-4}$障碍所必需的。
• 分析SGD收敛性对最优性准则的敏感性，特别是在非凸设置下。
• 建立标准SGD在使用固定或递减步长时，无法实现优于$\epsilon^{-4}$复杂度的结论，当目标是最小化最小梯度范数时。

提出的方法

• 利用具有高斯噪声的凸二次函数，推导出T次迭代后期望最小梯度范数的下界。
• 构建具有$L$-Lipschitz梯度和有界初始子优度$\Delta$的特定问题实例，以分析SGD的行为。
• 使用概率论论证表明，除非满足强假设，否则$\min_t \|\nabla f(x_t)\|^2$以高概率保持远离零。
• 应用两个关键命题：一个将最小梯度范数与$\Delta$和总步长关联起来，另一个适用于恒定或缓慢衰减的步长。
• 考虑各种步长调度方式（恒定、递减、自适应），以证明该下界在标准SGD变体中具有鲁棒性。
• 证明，在无随机化或替代准则（如平均梯度范数）的情况下，标准聚合方式无法实现无维度依赖的界。

实验结果

研究问题

• RQ1 在无额外假设条件下，SGD在最小化梯度范数时的$\epsilon^{-4}$迭代复杂度是否可被改进？
• RQ2 在标准SGD与高斯噪声下，$\epsilon^{-4}$界是否对凸二次函数也成立？
• RQ3 Lipschitz Hessian、发散噪声和有界维度等假设在实现更快收敛中起到什么作用？
• RQ4 为何在无聚合的情况下，最小梯度范数作为SGD在高维空间中的最优性准则表现不佳？
• RQ5 在最小化$\min_t \|\nabla f(x_t)\|$时，标准SGD使用固定或递减步长能否实现优于$\epsilon^{-4}$的复杂度？

主要发现

• 对于具有高斯噪声的凸二次函数，SGD在最小化$\min_t \|\nabla f(x_t)\|$时，即使使用最优步长，也无法实现优于$\Omega(\epsilon^{-4})$的迭代复杂度。
• 在无有界维度假设时，任何确定性聚合方案都无法为最小化梯度范数提供有限复杂度界，即使对于凸二次函数也是如此。
• $\Omega(\epsilon^{-4})$的下界即使在无Lipschitz Hessian或发散噪声的情况下也成立，除非使用聚合。
• 在无聚合时，即使存在发散噪声和Lipschitz Hessian，最小化$\min_t \|\nabla f(x_t)\|$的复杂度仍为$\Omega(\epsilon^{-3})$。
• 对于恒定或缓慢衰减的步长，最小梯度范数以$\Omega(\sigma^2)$为下界，意味着除非$\sigma \to 0$，否则无法收敛至零，而后者在实践中不可行。
• 以高概率成立的下界$\min_t \|\nabla f(x_t)\|^2 \geq c \cdot \min\{L\Delta, \sigma^2\}/\sqrt{T}$证明了在标准SGD设置下，$\epsilon^{-4}$是不可避免的。