[论文解读] On the Sublinear Convergence of Randomly Perturbed Alternating Gradient Descent to Second Order Stationary Solutions

Songtao Lu, Mingyi Hong+1 more|arXiv (Cornell University)|Feb 28, 2018

Stochastic Gradient Optimization Techniques参考文献 32被引用 4

一句话总结

该论文提出了一种扰动交替梯度下降（PA-GD）算法，在非凸优化中实现了对二阶平稳解（SS2）的全局亚线性收敛。通过在两个变量块的交替更新过程中注入随机扰动，PA-GD 能够逃离严格鞍点，并以高概率在 $\mathcal{O}(\text{polylog}(d)/\epsilon^{7/3})$ 次迭代内实现收敛，这是首次针对交替型方法获得此类结果。

ABSTRACT

The alternating gradient descent (AGD) is a simple but popular algorithm which has been applied to problems in optimization, machine learning, data ming, and signal processing, etc. The algorithm updates two blocks of variables in an alternating manner, in which a gradient step is taken on one block, while keeping the remaining block fixed. When the objective function is nonconvex, it is well-known the AGD converges to the first-order stationary solution with a global sublinear rate. In this paper, we show that a variant of AGD-type algorithms will not be trapped by "bad" stationary solutions such as saddle points and local maximum points. In particular, we consider a smooth unconstrained optimization problem, and propose a perturbed AGD (PA-GD) which converges (with high probability) to the set of second-order stationary solutions (SS2) with a global sublinear rate. To the best of our knowledge, this is the first alternating type algorithm which takes $\mathcal{O}( ext{polylog}(d)/ε^{7/3})$ iterations to achieve SS2 with high probability [where polylog$(d)$ is polynomial of the logarithm of dimension $d$ of the problem].

研究动机与目标

• 解决非凸优化中交替梯度下降（AGD）是否能以可证明的全局速率收敛到二阶平稳解（SS2）这一开放问题。
• 设计一种通过引入随机扰动以逃离严格鞍点和局部极大值的 AGD 变体。
• 在光滑性和有界 Hessian 假设下，为所提出的扰动算法建立对 SS2 的全局亚线性收敛速率。
• 证明该算法在迭代复杂度仅对维度对数依赖的条件下，能够以高概率收敛到 SS2。

提出的方法

• 该算法在两个变量块之间交替执行梯度下降步骤，每次块更新后注入独立的各向同性高斯噪声。
• 通过调节扰动幅度，确保在梯度范数较小时能利用负曲率信息，从而实现从严格鞍点的逃离。
• 收敛性分析依赖于在有界范数假设下对 Hessian 的利普希茨常数和块间梯度利普希茨连续性的控制。
• 通过李雅普诺夫函数和概率论方法推导出理论保证，证明算法以高概率收敛到 SS2。
• 通过一个随时间亚线性递减的势函数分析迭代复杂度，扰动有效防止在非 SS2 点处停滞。
• 该方法应用于一类具有二阶可微目标函数的非凸问题，包括多项式及二次型形式。

实验结果

研究问题

• RQ1 交替梯度下降能否以可证明的全局速率逃离严格鞍点并收敛到二阶平稳解？
• RQ2 在非凸优化中，扰动交替方法达到 SS2 的最优迭代复杂度是多少？
• RQ3 随机扰动如何影响 AGD 在逃离局部极大值和鞍点时的收敛行为？
• RQ4 收敛速率能否在除对数因子外不依赖于问题维度的情况下被界定？
• RQ5 该扰动策略是否在保持亚线性收敛速率的同时，确保以高概率收敛到 SS2？

主要发现

• 所提出的 PA-GD 算法以高概率在 $\mathcal{O}(\text{polylog}(d)/\epsilon^{7/3})$ 次迭代内收敛到二阶平稳解集合。
• 由于注入了随机扰动，即使在梯度范数较小时，该算法也能成功逃离严格鞍点。
• 收敛速率是全局亚线性的，与标准梯度方法的已知速率一致，但解的质量更优（SS2 而非 SS1）。
• 在变量范数有界的条件下，Hessian 利普希茨条件成立，从而支持对扰动动力学的理论分析。
• 数值实验表明，PA-GD 逃离鞍点的速度明显快于标准 AGD，尤其在梯度趋于零的原点附近。
• 该方法无需使用二阶信息或昂贵的 Hessian 计算，因此可扩展至高维问题。