[论文解读] Natasha: Faster Non-Convex Stochastic Optimization Via Strongly Non-Convex Parameter

Zeyuan Allen-Zhu|arXiv (Cornell University)|Feb 2, 2017

Stochastic Gradient Optimization Techniques参考文献 24被引用 34

一句话总结

本文提出 Natasha1，一种针对具有有界非凸性的非凸有限和问题的新型随机一阶优化方法。通过利用最小负 Hessian 特征值 $\sigma$，Natasha1 实现了改进的梯度复杂度 $O(n\log(1/\varepsilon) + n^{2/3}(L^2\sigma)^{1/3}/\varepsilon^2)$，在 $\sigma > L/\sqrt{n}$ 的情形下优于先前方法，并揭示了最优收敛速率依赖于 $\sigma$ 的二分特性。该方法在深度学习和逻辑回归等非凸机器学习问题中，实现了更快地收敛至近似驻点。

ABSTRACT

Given a nonconvex function that is an average of $n$ smooth functions, we design stochastic first-order methods to find its approximate stationary points. The convergence of our new methods depends on the smallest (negative) eigenvalue $-σ$ of the Hessian, a parameter that describes how nonconvex the function is. Our methods outperform known results for a range of parameter $σ$, and can be used to find approximate local minima. Our result implies an interesting dichotomy: there exists a threshold $σ_0$ so that the currently fastest methods for $σ>σ_0$ and for $σ

研究动机与目标

• 为解决大规模机器学习中常见的非凸有限和优化问题中寻找近似驻点的挑战。
• 通过引入表示最小负 Hessian 特征值的参数 $\sigma$，对非凸优化分析进行精细化，以量化非凸性。
• 开发一种更快的离线随机优化方法，其收敛速率可自适应地根据 $\sigma$ 的取值调整。
• 建立最优收敛行为的二分特性：当 $\sigma < L/\sqrt{n}$ 时为 $n^{3/4}$ 标度，当 $\sigma > L/\sqrt{n}$ 时为 $n^{2/3}$ 标度。
• 将方法推广至处理 $(\ell_1,\ell_2)$-光滑函数，并在主成分分析（PCA）和矩阵学习等应用中提升性能。

提出的方法

• Natasha1 使用一种具有自适应步长和动量的方差缩减随机梯度方法，受加速方法启发，但专为非凸场景设计。
• 该算法引入一个正则化子问题，将 $F(x)$ 修改为 $F(x) + \frac{\sigma}{2}\|x\|^2$，从而使其具有 $\sigma$-强凸性。
• 采用一种新型梯度映射 $\mathcal{G}(x)$ 来定义平稳性条件 $\|\mathcal{G}(x)\| \leq \varepsilon$，确保收敛至近似临界点。
• 该方法根据非凸性参数 $\sigma$ 动态调整，当 $\sigma$ 相对于 $L/\sqrt{n}$ 较大时实现更快收敛。
• 在改进设置中，Natasha1full 将方法扩展至处理具有不同上下 Hessian 有界值 $\ell_1, \ell_2$ 的函数，从而在结构化问题中进一步降低复杂度。
• 分析采用一种新型势函数和递归误差界，以控制梯度范数的衰减，从而获得更紧致的收敛保证。

实验结果

研究问题

• RQ1 我们能否通过利用有界非凸性参数 $\sigma$，设计一种更快的非凸有限和问题随机一阶方法？
• RQ2 是否存在一种根本性的二分特性：即离线非凸优化的最优收敛速率取决于 $\sigma < L/\sqrt{n}$ 还是 $\sigma > L/\sqrt{n}$？
• RQ3 我们能否通过推导出自适应于 $\sigma$ 的更紧致梯度复杂度，超越现有方法（如 repeatSVRG）？
• RQ4 当 $\sigma$ 较小或较大时，Natasha1 在梯度复杂度方面与现有方法相比表现如何？
• RQ5 该方法能否推广至处理 $(\ell_1,\ell_2)$-光滑函数，特别是在主成分分析（PCA）和矩阵学习等应用中？

主要发现

• Natasha1 实现了 $O(n\log(1/\varepsilon) + n^{2/3}(L^2\sigma)^{1/3}/\varepsilon^2)$ 的梯度复杂度，对于 $\sigma > L/\sqrt{n}$ 的情形优于先前方法。
• 该方法揭示了二分特性：当 $\sigma < L/\sqrt{n}$ 时，最优速率呈 $n^{3/4}$ 标度；当 $\sigma > L/\sqrt{n}$ 时，呈 $n^{2/3}$ 标度。
• 在改进的 $(\ell_1,\ell_2)$-光滑设置中，当 $\ell_1\ell_2/\sigma^2 \leq n^2$ 时，Natasha1full 实现了 $O(n\log(1/\varepsilon) + n^{2/3}(\ell_1\ell_2\sigma)^{1/3}/\varepsilon^2)$ 的复杂度。
• 当 $\sigma = L$ 时，该方法与 SVRG 达到最佳已知速率，但分析更简单，且在中间 $\sigma$ 值时表现更优。
• 在如 shift-and-invert PCA 等应用中，当 $\ell_1 \ll \ell_2$ 时，若 $n \geq \ell_1\ell_2/\sigma^2$，Natasha1full 显著优于 repeatSVRG。
• 该方法确保任意 $\varepsilon$-近似驻点同时也是 $(\varepsilon,\sigma)$-近似局部最小值，即 $\nabla^2 f(x) \succeq -\sigma I$，提供了强有力的结构保证。