[论文解读] Third-order Smoothness Helps: Even Faster Stochastic Optimization Algorithms for Finding Local Minima

Yaodong Yu, Pan Xu+1 more|arXiv (Cornell University)|Dec 18, 2017

Sparse and Compressive Sensing Techniques参考文献 28被引用 3

一句话总结

本文提出了一种新颖的随机优化算法，利用三阶光滑性加速在非凸问题中收敛至局部极小值。通过利用高阶光滑性，该算法实现了 Õ(ϵ⁻¹⁰ᐟ³) 阶的梯度复杂度，即仅需 Õ(ϵ⁻¹⁰ᐟ³) 次随机梯度评估——相比先前最先进方法所需的 Õ(ϵ⁻⁷ᐟ²) 次评估，实现了显著加速——同时仅使用一阶预言机，并最小化昂贵的负曲率计算。

ABSTRACT

We propose stochastic optimization algorithms that can find local minima faster than existing algorithms for nonconvex optimization problems, by exploiting the third-order smoothness to escape non-degenerate saddle points more efficiently. More specifically, the proposed algorithm only needs $ ilde{O}(ε^{-10/3})$ stochastic gradient evaluations to converge to an approximate local minimum $\mathbf{x}$, which satisfies $\| abla f(\mathbf{x})\|_2\leqε$ and $λ_{\min}( abla^2 f(\mathbf{x}))\geq -\sqrtε$ in the general stochastic optimization setting, where $ ilde{O}(\cdot)$ hides logarithm polynomial terms and constants. This improves upon the $ ilde{O}(ε^{-7/2})$ gradient complexity achieved by the state-of-the-art stochastic local minima finding algorithms by a factor of $ ilde{O}(ε^{-1/6})$. For nonconvex finite-sum optimization, our algorithm also outperforms the best known algorithms in a certain regime.

研究动机与目标

• 设计更快的随机优化算法，以更低的计算成本在非凸问题中找到局部极小值。
• 利用目标函数的三阶光滑性，加速从非退化鞍点的逃逸。
• 在仅依赖一阶预言机的前提下，实现比现有随机局部极小值查找算法更快的收敛速度。
• 在高维、大规模设置中，最小化昂贵的负曲率下降步骤和梯度评估次数。

提出的方法

• 该算法将一阶随机梯度下降与一种新颖的负曲率下降步骤相结合，利用三阶光滑性实现更大的步长。
• 采用一种基于三阶光滑性的随机立方正则化方法变体，以提升收敛速度。
• 该方法在每次外层迭代中动态在 SCSG（随机控制随机梯度）周期与单次负曲率下降步骤之间切换。
• 开发了一套新的分析框架，通过集中不等式和三阶光滑性来控制误差项，从而界定梯度范数较大的迭代次数。
• 该算法采用在线 Oja 算法以及 FastPCA/Neon2，以高效计算负曲率方向。
• 理论分析建立了收敛至 (ϵ, ϵH)-二阶平稳点的梯度复杂度，且复杂度得到改进。

实验结果

研究问题

• RQ1 能否利用目标函数的三阶光滑性，在随机非凸优化中加速从鞍点的逃逸？
• RQ2 在随机局部极小值查找算法中引入三阶光滑性时，理论梯度复杂度的改进程度如何？
• RQ3 如何更高效地利用一阶预言机来近似负曲率方向，而无需求解立方子问题？
• RQ4 能否在保持快速收敛至局部极小值的同时，减少昂贵的负曲率计算次数？

主要发现

• 所提出的算法在找到 (ϵ, ϵH)-二阶平稳点时，实现了 Õ(ϵ⁻¹⁰ᐟ³) 阶的梯度复杂度，相比最先进方法的 Õ(ϵ⁻⁷ᐟ²) 复杂度，提升了 Õ(ϵ⁻¹ᐟ⁶) 的因子。
• 对于有限和问题，该算法需要 Õ(n²ᐟ³ϵ⁻² + nϵH⁻² + n³ᐟ⁴ϵH⁻⁵ᐟ²) 次随机梯度评估，在某些参数范围内优于现有方法。
• 该算法将每次迭代中负曲率下降步骤的数量减少至最多一次，与需多次此类步骤的方法相比，显著降低了计算开销。
• 通过利用三阶光滑性，该算法在负曲率下降过程中实现了更大的步长，从而带来更快的收敛速度和更高的迭代效率。
• 理论分析证明，在标准光滑性和噪声假设下，该算法以高概率收敛至局部极小值，主循环的运行时间复杂度为 Õ(L³Δf/ϵH²)，负曲率计算的复杂度为 Õ(L²₁L³Δf/ϵH⁴)。