[论文解读] Neon2: Finding Local Minima via First-Order Oracles

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Nov 17, 2017

Stochastic Gradient Optimization Techniques参考文献 24被引用 35

一句话总结

Neon2 提出了一种新颖的归约方法，可将任意一阶平稳点查找算法转化为仅使用梯度计算即可找到近似局部极小值的算法，从而无需计算 Hessian-向量乘积。该方法通过一阶更新稳定近似负曲率搜索，保持原始算法的复杂度，同时在随机与确定性设置下均能收敛至局部极小值。

ABSTRACT

We propose a reduction for non-convex optimization that can (1) turn an stationary-point finding algorithm into an local-minimum finding one, and (2) replace the Hessian-vector product computations with only gradient computations. It works both in the stochastic and the deterministic settings, without hurting the algorithm's performance. As applications, our reduction turns Natasha2 into a first-order method without hurting its performance. It also converts SGD, GD, SCSG, and SVRG into algorithms finding approximate local minima, outperforming some best known results.

研究动机与目标

• 开发一种方法，将平稳点查找算法转化为局部极小值查找算法，且无需使用 Hessian-向量乘积。
• 在保持原始算法相同梯度复杂度的同时，确保收敛至近似局部极小值。
• 使一阶方法在在线与离线设置下均能实现局部极小值的收敛。
• 仅通过梯度评估，提供对 Hessian-向量乘积的稳定、多项式小量近似。

提出的方法

• Neon2 提出一种归约方法，用梯度的有限差分近似替代 Hessian-向量乘积的计算。
• 提出 Neon2online，一种基于梯度更新的随机一阶算法，通过小的、多项式小量步长 q 近似负曲率搜索。
• 该方法采用改进的 SCSG/SGD 框架，每轮迭代中估计梯度范数与负曲率，以指导下降。
• 通过精心选择步长与小批量大小，控制近似误差，确保稳定性。
• 根据梯度与 Hessian 近似条件，动态在标准梯度下降与负曲率搜索之间切换。
• 证明了当 q 为多项式小量时，近似误差保持可控，从而提供理论收敛保证。

实验结果

研究问题

• RQ1 能否在不牺牲收敛速率的前提下，将无 Hessian 的局部极小值查找算法转化为一阶方法？
• RQ2 能否仅通过梯度计算稳定近似负曲率搜索？
• RQ3 所提出的归约方法是否在保持原始算法梯度复杂度的同时，实现局部极小值收敛？
• RQ4 该归约方法能否在在线与离线设置下均适用，并提供可证明的保证？
• RQ5 是否可能仅通过一阶预言机访问实现局部极小值收敛，而完全避免 Hessian 计算？

主要发现

• Neon2 可将任意一阶平稳点算法转化为具有与原始算法相同梯度复杂度的局部极小值查找方法。
• 对于 SGD，Neon2+SGD 实现了梯度复杂度 eO((V/ε² + 1)(L²Δf/δ³ + LΔf/ε²))，以寻找 (ε, δ)-近似局部极小值。
• 对于 SCSG，Neon2+SCSG 实现了梯度复杂度 eO((LΔf/ε⁴/³V¹/³)(V/ε² + L²/δ²) + LΔf/ε² · L²/δ²)。
• 对于 Natasha2，Neon2+Natasha2 保持与原始算法相同的复杂度 eO(1/ε³.²⁵)，同时实现局部极小值收敛。
• 该方法确保算法以高概率在 O(L²Δf/δ³ + LΔf/ε²) 次迭代内终止，且满足 N₁ > N₂ 的概率至少为 2/3。
• 通过有限差分对 Hessian-向量乘积的近似具有稳定性，仅引入多项式小量误差，从而支持理论收敛。