[论文解读] Saving Gradient and Negative Curvature Computations: Finding Local Minima More Efficiently

Yaodong Yu, Difan Zou+1 more|arXiv (Cornell University)|Dec 11, 2017

Stochastic Gradient Optimization Techniques参考文献 39被引用 6

一句话总结

该论文提出了一类非凸优化算法，通过将搜索空间划分为大梯度区域和小梯度区域，显著减少了梯度和负曲率计算。该算法仅在大梯度区域执行梯度下降，而在小梯度区域仅使用一次负曲率步骤以实现逃逸，从而在运行时间复杂度上实现改进，并在确定性和随机设置下均优于最先进方法，尤其在有限和（finite-sum）设置中表现突出。

ABSTRACT

We propose a family of nonconvex optimization algorithms that are able to save gradient and negative curvature computations to a large extent, and are guaranteed to find an approximate local minimum with improved runtime complexity. At the core of our algorithms is the division of the entire domain of the objective function into small and large gradient regions: our algorithms only perform gradient descent based procedure in the large gradient region, and only perform negative curvature descent in the small gradient region. Our novel analysis shows that the proposed algorithms can escape the small gradient region in only one negative curvature descent step whenever they enter it, and thus they only need to perform at most $N_ε$ negative curvature direction computations, where $N_ε$ is the number of times the algorithms enter small gradient regions. For both deterministic and stochastic settings, we show that the proposed algorithms can potentially beat the state-of-the-art local minima finding algorithms. For the finite-sum setting, our algorithm can also outperform the best algorithm in a certain regime.

研究动机与目标

• 设计实用的非凸优化算法，以最小化昂贵的梯度和负曲率计算。
• 通过利用区域特定的下降策略，实现更快地收敛至近似局部极小值。
• 在寻找近似二阶平稳点方面，改善现有二阶和一阶方法的运行时间复杂度。
• 在随机和有限和非凸优化设置中展示优越性。
• 证明单次负曲率步骤足以逃逸小梯度区域，从而大幅降低计算开销。

提出的方法

• 该算法将定义域划分为大梯度区域（∥∇f(x)∥₂ > ϵ）和小梯度区域（∥∇f(x)∥₂ ≤ ϵ）。
• 在大梯度区域中，算法执行标准梯度下降或其变体。
• 在小梯度区域中，仅应用一次负曲率下降步骤以实现逃逸，确保高效逃逸且无需重复计算。
• 该方法利用了一项新分析，表明一次负曲率步骤足以离开小梯度区域，将负曲率计算次数限制在最多 Nϵ 次，其中 Nϵ 为进入小梯度区域的次数。
• 在大梯度区域中使用随机一阶预言机（如 SCSG、SVRG），在小梯度区域中使用一步负曲率更新。
• 通过马尔可夫不等式和浓度不等式推导出理论保证，以控制误差传播和成功概率。

实验结果

研究问题

• RQ1 我们能否设计一种非凸优化算法，显著减少梯度和负曲率计算，同时仍能保证收敛至近似局部极小值？
• RQ2 是否可以通过将负曲率计算限制为每次进入小梯度区域仅执行一次，从而实现改进的运行时间复杂度？
• RQ3 在随机和有限和设置下，该方法在收敛速度和计算成本方面与最先进算法相比如何？
• RQ4 该算法能否在最小化昂贵的 Hessian 矩阵或 Hessian 向量积计算的同时，保持较高的成功概率？
• RQ5 基于区域的策略——在大梯度区域使用梯度下降，小梯度区域使用一步负曲率——是否能带来可证明更优的复杂度界？

主要发现

• 在随机设置下，该算法实现了 eO(ρ²∆f/ϵ³_H + min{ρ²∆f/ϵ³_H, Nϵ}) 的运行时间复杂度，优于现有方法。
• 在有限和设置下，该算法实现了 eO(L∆fn²/³/ϵ² + (n + n³/⁴L¹/²/ϵ_H¹/²)min{ρ²∆f/ϵ³_H, Nϵ}) 的运行时间复杂度，在某些参数范围内优于已知最佳算法。
• 负曲率方向计算次数被限制在 Nϵ 以内，即算法进入小梯度区域的次数，且每次进入仅需一次此类步骤。
• 该算法保证通过一次负曲率步骤即可逃逸鞍点，从而实现对小梯度区域的高效遍历。
• 通过马尔可夫不等式和内层循环迭代次数的几何分布界控制误差项，成功概率可保持在常数水平（≥2/3）。
• 该方法减少了对昂贵 Hessian 矩阵或 Hessian 向量积计算的依赖，使其比立方正则化或迭代 Hessian 基方法更具实用性。