[论文解读] Second-Order Information in Non-Convex Stochastic Optimization: Power and Limitations

Yossi Arjevani, Yair Carmon+4 more|arXiv (Cornell University)|Jun 24, 2020

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文提出了一种新颖的随机优化算法，仅使用随机梯度和Hessian-向量乘积，即可实现寻找 $\epsilon$-近似一阶平稳点的最优 $O(\epsilon^{-3})$ 查询复杂度。该工作建立了紧致的下界，证明即使在高阶导数满足Lipschitz连续性条件下，任何高阶方法（$p \geq 2$）也无法进一步提升该速率，揭示了随机非凸优化中存在一个根本性的“拐点效应”。

ABSTRACT

We design an algorithm which finds an $\\epsilon$-approximate stationary point (with $\\|\ abla F(x)\\|\\le \\epsilon$) using $O(\\epsilon^{-3})$ stochastic gradient and Hessian-vector products, matching guarantees that were previously available only under a stronger assumption of access to multiple queries with the same random seed. We prove a lower bound which establishes that this rate is optimal and---surprisingly---that it cannot be improved using stochastic $p$th order methods for any $p\\ge 2$, even when the first $p$ derivatives of the objective are Lipschitz. Together, these results characterize the complexity of non-convex stochastic optimization with second-order methods and beyond. Expanding our scope to the oracle complexity of finding $(\\epsilon,\\gamma)$-approximate second-order stationary points, we establish nearly matching upper and lower bounds for stochastic second-order methods. Our lower bounds here are novel even in the noiseless case.

研究动机与目标

• 刻画在非凸随机优化中寻找 $\epsilon$-平稳点和 $(\epsilon,\gamma)$-二阶平稳点的查询复杂度。
• 探究访问随机Hessian-向量乘积或更高阶信息是否能超越一阶方法的收敛性能。
• 建立对达到收敛所需的随机梯度和Hessian-向量查询次数的紧致上下界。
• 解决一个开放问题：在随机设置下，高阶方法（$p \geq 2$）是否能改进 $O(\epsilon^{-3})$ 的速率。

提出的方法

• 设计一种新型的方差缩减梯度估计器，利用随机梯度和Hessian-向量乘积以降低优化路径中的噪声。
• 提出一种新颖算法，结合随机Hessian-向量乘积与自适应步长和动量机制，以加速收敛至平稳点。
• 采用具有可控方差和曲率利用的递归下降框架，以保持稳定性和收敛性保证。
• 通过精心构造的困难实例推导出下界，捕捉任意 $p$ 阶随机方法（$p \geq 2$）的最坏情况行为。
• 采用基于对偶性的论证，证明即使在高阶导数具有强光滑性和Lipschitz连续性条件下，$O(\epsilon^{-3})$ 复杂度仍为紧致。
• 应用参数调优策略，平衡梯度方差、Hessian噪声与曲率约束，以实现最优权衡。

实验结果

研究问题

• RQ1 随机Hessian-向量乘积能否将寻找 $\epsilon$-平稳点的查询复杂度降低至 $O(\epsilon^{-3})$ 以下？
• RQ2 在随机非凸优化中，是否存在高阶方法（$p \geq 2$）改进的固有极限，即使在高阶导数满足Lipschitz连续性条件下？
• RQ3 寻找 $(\epsilon,\gamma)$-二阶平稳点时，梯度与Hessian-向量查询复杂度之间的最优权衡是什么？
• RQ4 随机Hessian估计中的噪声是否阻止了在二阶方法之外的进一步改进？
• RQ5 在搜索 $(\epsilon,\gamma)$-SOSPs 时，查询复杂度如何随 $\gamma$ 变化，且是否存在高效算法可实现该复杂度？

主要发现

• 所提出的算法在寻找 $\epsilon$-平稳点时，实现了 $O(\epsilon^{-3})$ 的随机梯度和Hessian-向量乘积复杂度，与在更强假设下的最优已知速率一致。
• 证明了匹配的 $\Omega(\epsilon^{-3})$ 下界，表明任何 $p$ 阶随机方法（$p \geq 2$）均无法超越此速率。
• 对于 $(\epsilon,\gamma)$-SOSPs，算法实现了 $O(\epsilon^{-3} + \epsilon^{-2}\gamma^{-2} + \gamma^{-5})$ 的查询复杂度，几乎匹配 $\Omega(\epsilon^{-3} + \gamma^{-5})$ 的下界。
• 即使在无噪声情况下，该下界依然成立，确立了二阶方法的根本复杂度屏障。
• 分析揭示了随机优化中的“拐点效应”：复杂度从一阶方法的 $\epsilon^{-4}$ 急剧下降至二阶方法的 $\epsilon^{-3}$，但当 $p \geq 2$ 时不再有进一步改善。
• 结果表明，在随机设置下，尽管高阶导数具有强光滑性假设，更高阶信息也无法在二阶方法之外带来性能提升。