[论文解读] On Noisy Negative Curvature Descent: Competing with Gradient Descent for Faster Non-convex Optimization

Mingrui Liu, Tianbao Yang|arXiv (Cornell University)|Sep 25, 2017

Sparse and Compressive Sensing Techniques参考文献 20被引用 16

一句话总结

该论文提出了一种新颖的噪声负曲率下降算法，通过仅需以梯度范数为基准的近似最小特征向量（而非极小的绝对阈值），显著减少了非凸优化中 Hessian-向量乘积的计算次数。该方法在收敛速度上可与梯度下降相媲美，并以与文献中最佳结果相当的时间复杂度达到二阶平稳点，同时支持样本规模无关的随机变体。

ABSTRACT

The Hessian-vector product has been utilized to find a second-order stationary solution with strong complexity guarantee (e.g., almost linear time complexity in the problem's dimensionality). In this paper, we propose to further reduce the number of Hessian-vector products for faster non-convex optimization. Previous algorithms need to approximate the smallest eigen-value with a sufficient precision (e.g., $ε_2\ll 1$) in order to achieve a sufficiently accurate second-order stationary solution (i.e., $λ_{\min}( abla^2 f(\x))\geq -ε_2)$. In contrast, the proposed algorithms only need to compute the smallest eigen-vector approximating the corresponding eigen-value up to a small power of current gradient's norm. As a result, it can dramatically reduce the number of Hessian-vector products during the course of optimization before reaching first-order stationary points (e.g., saddle points). The key building block of the proposed algorithms is a novel updating step named the NCG step, which lets a noisy negative curvature descent compete with the gradient descent. We show that the worst-case time complexity of the proposed algorithms with their favorable prescribed accuracy requirements can match the best in literature for achieving a second-order stationary point but with an arguably smaller per-iteration cost. We also show that the proposed algorithms can benefit from inexact Hessian by developing their variants accepting inexact Hessian under a mild condition for achieving the same goal. Moreover, we develop a stochastic algorithm for a finite or infinite sum non-convex optimization problem. To the best of our knowledge, the proposed stochastic algorithm is the first one that converges to a second-order stationary point in {\it high probability} with a time complexity independent of the sample size and almost linear in dimensionality.

研究动机与目标

• 减少在非凸优化中寻找二阶平稳点所必需的 Hessian-向量乘积计算次数。
• 设计一种在收敛速度上可与梯度下降有效竞争，同时保持强理论复杂度保证的算法。
• 在温和条件下允许使用不精确或子采样的 Hessian 矩阵，而不牺牲收敛至二阶平稳点的能力。
• 为有限或无限和问题设计一种随机算法，实现在样本规模无关的时间复杂度下达到二阶平稳性，且复杂度近乎与维度线性相关。
• 为噪声负曲率下降方法提供收敛至二阶平稳点的理论保证，同时将每轮迭代的计算成本降至最低。

提出的方法

• 引入 NCG（噪声曲率下降）步长作为核心更新机制，利用 Hessian 矩阵的近似最小特征向量以逃逸鞍点。
• 将对最小特征值近似所需的高精度（例如 ε₂ ≪ 1）替换为与当前梯度范数的幂成比例的要求，显著减少 Hessian-向量乘积的调用次数。
• 开发了可接受不精确 Hessian 矩阵（如子采样 Hessian）的变体，仅在温和条件下即可保持收敛至二阶平稳点。
• 提出一种随机算法，每轮迭代仅计算一个子采样梯度和一个子采样 Hessian 的噪声负曲率。
• 采用类似幂迭代的方法近似最小特征向量，降低精度要求，从而降低每轮迭代的计算成本。
• 自适应地结合梯度下降与 NCG 步长，确保收敛性能具有竞争力，同时最小化昂贵的 Hessian 操作。

实验结果

研究问题

• RQ1 我们能否通过放松对最小特征值近似精度的要求，来减少非凸优化中 Hessian-向量乘积的计算次数？
• RQ2 噪声负曲率下降方法是否能在收敛速度上优于或等同于梯度下降，同时保持强理论保证？
• RQ3 能否为有限或无限和问题设计一种随机算法，实现在样本规模无关的复杂度下收敛至二阶平稳点？
• RQ4 在不降低收敛至二阶平稳性的前提下，能否有效使用不精确或子采样的 Hessian 矩阵进行二阶优化？
• RQ5 为确保收敛至二阶平稳点，对最小特征向量近似所需的最低精度要求是什么？

主要发现

• 所提算法在达到二阶平稳点的时间复杂度上与文献中最佳结果相当，但每轮迭代的计算成本可能更小。
• 该方法将最小特征值近似所需精度从 ε₂ ≪ 1 降低至当前梯度范数的小次幂，大幅减少了 Hessian-向量乘积的使用。
• 随机变体每轮仅计算一个子采样梯度和一个子采样 Hessian 的噪声负曲率，实现复杂度与样本规模无关的收敛。
• 该算法是首个已知的随机方法，能在高概率下收敛至二阶平稳点，其时间复杂度近乎与问题维度线性相关，且与样本规模无关。
• 理论分析表明，该方法在使用不精确 Hessian 矩阵时，仅在 Hessian 近似误差满足一个温和条件的前提下，仍能保持收敛至二阶平稳点。
• NCG 步长通过更少的 Hessian-向量乘积高效逃逸鞍点，从而在与梯度下降的竞争中表现优异。