[论文解读] Stabilized SVRG: Simple Variance Reduction for Nonconvex Optimization

Rong Ge, Zhize Li+2 more|arXiv (Cornell University)|May 1, 2019

Sparse and Compressive Sensing Techniques参考文献 29被引用 9

一句话总结

本文提出 Stabilized SVRG，即随机方差缩减梯度（SVRG）的一种简单变体，首次在非凸有限和优化中实现了对 $\epsilon$-二阶平稳点的理论保证。其仅需 $\widetilde{O}(n^{2/3}/\epsilon^{2} + n/\epsilon^{1.5})$ 个随机梯度，与现有最优的一阶收敛复杂度相匹配，同时避免了复杂负曲率搜索子程序的使用。

ABSTRACT

Variance reduction techniques like SVRG provide simple and fast algorithms for optimizing a convex finite-sum objective. For nonconvex objectives, these techniques can also find a first-order stationary point (with small gradient). However, in nonconvex optimization it is often crucial to find a second-order stationary point (with small gradient and almost PSD hessian). In this paper, we show that Stabilized SVRG (a simple variant of SVRG) can find an $ε$-second-order stationary point using only $\widetilde{O}(n^{2/3}/ε^2+n/ε^{1.5})$ stochastic gradients. To our best knowledge, this is the first second-order guarantee for a simple variant of SVRG. The running time almost matches the known guarantees for finding $ε$-first-order stationary points.

研究动机与目标

• 为解决在非凸有限和优化中高效寻找二阶平稳点的挑战，此类点对于逃离鞍点至关重要。
• 开发 SVRG 的一种简单改进，使其在保持算法简洁性的同时，实现二阶收敛保证。
• 消除现有二阶算法通常所需的复杂负曲率搜索子程序（如 Neon2）的依赖。
• 在保持与一阶平稳点收敛最优梯度复杂度一致的同时，将该复杂度扩展至二阶保证。

提出的方法

• 提出 Stabilized SVRG，一种带稳定化步骤的改进型 SVRG 算法，通过确保 Hessian 矩阵变化有界，提升非凸设置下的收敛性能。
• 利用有限和结构 $f(x) = \frac{1}{n}\sum_{i=1}^n f_i(x)$，通过快照迭代点的控制变量来降低梯度方差。
• 基于受限等距性质（RIP）和矩阵集中不等式，提出一种新颖的分析框架，用于控制 Hessian 差异并确保二阶收敛。
• 应用矩阵 Bernstein 不等式，控制经验 Hessian 估计与其期望之间的偏差，从而实现高概率保证。
• 引入一种无需扰动的机制，通过内在稳定化 Hessian 近似，避免了对负曲率搜索的需求。
• 通过梯度范数控制与 Hessian 近似半正定性的结合，建立对 $\epsilon$-二阶平稳点的收敛性。

实验结果

研究问题

• RQ1 能否通过 SVRG 的简单变体实现对二阶平稳点的收敛，而无需依赖负曲率搜索子程序？
• RQ2 在非凸有限和问题中，寻找 $\epsilon$-二阶平稳点的最优随机梯度复杂度是多少？
• RQ3 Stabilized SVRG 是否在保持与一阶 SVRG 相同的梯度复杂度的同时，实现二阶收敛？
• RQ4 能否通过简单的稳定化机制控制 Hessian 变化，以确保二阶收敛？

主要发现

• Stabilized SVRG 实现了 $\widetilde{O}(n^{2/3}/\epsilon^{2} + n/\epsilon^{1.5})$ 的随机梯度复杂度，用于寻找 $\epsilon$-二阶平稳点。
• 该算法与现有最优一阶平稳点收敛复杂度一致，因此在梯度使用方面近乎最优。
• 该方法避免了如 Neon2 或负曲率搜索等复杂子程序的使用，与以往二阶算法形成对比。
• 分析表明，在受限等距条件下，Hessian 差异有界于 $\rho \leq 264/5$，从而确保 Hessian 近似的稳定性。
• Hessian 变化下界分析表明，该方法对曲率敏感，从而能有效实现鞍点逃离。
• 该算法简单实用，结合了 SVRG 的高效性与二阶收敛保证。