[论文解读] On Graduated Optimization for Stochastic Non-Convex Problems

Elad Hazan, Kfir Y. Levy+1 more|arXiv (Cornell University)|Mar 12, 2015

Stochastic Gradient Optimization Techniques参考文献 19被引用 21

一句话总结

本文提出一种基于连续优化的首阶随机算法，用于处理非凸问题，证明了在一类作者定义为 $\sigma$-nice 的函数上，该算法可在 $O(1/\varepsilon^2)$ 次梯度步长内收敛至 $\varepsilon$-最优解。该方法被扩展至随机和零阶设置，在后者中实现了 $O(d^2/\varepsilon^4)$ 的收敛速度，并在神经网络的 MNIST 数据集上通过实验验证了该方法的有效性。

ABSTRACT

The graduated optimization approach, also known as the continuation method, is a popular heuristic to solving non-convex problems that has received renewed interest over the last decade. Despite its popularity, very little is known in terms of theoretical convergence analysis. In this paper we describe a new first-order algorithm based on graduated optimiza- tion and analyze its performance. We characterize a parameterized family of non- convex functions for which this algorithm provably converges to a global optimum. In particular, we prove that the algorithm converges to an ε-approximate solution within O(1/ε^2) gradient-based steps. We extend our algorithm and analysis to the setting of stochastic non-convex optimization with noisy gradient feedback, attaining the same convergence rate. Additionally, we discuss the setting of zero-order optimization, and devise a a variant of our algorithm which converges at rate of O(d^2/ε^4).

研究动机与目标

• 为随机非凸问题中的连续优化方法提供严格的理论分析，该方法虽在实践中广泛应用，但缺乏正式的收敛性保证。
• 定义一类参数化的非凸函数族——称为 $\sigma$-nice——在此类函数上，连续优化可严格收敛至全局最优解。
• 设计一种基于连续优化的首阶随机算法，利用带噪声的梯度反馈，实现 $O(1/\varepsilon^2)$ 的收敛速率。
• 将框架扩展至零阶优化模型，其中仅能获取带噪声的函数值查询，建立 $O(d^2/\varepsilon^4)$ 的收敛速率。
• 在训练深度神经网络的场景下，通过实验验证该方法，展示其在加速收敛和逃离不良局部极小值方面的优势。

提出的方法

• 本文引入一类新函数类，称为 $\sigma$-nice，其定义基于平滑性、强凸性和中心性之间的特定结构关系，确保在连续优化下实现收敛。
• 所提出的算法 $\text{GradOpt}_G$ 在原始目标函数的逐步精细化平滑版本上进行迭代优化，通过随机采样近似平滑函数，避免显式卷积计算。
• 在随机设置下，算法使用带噪声的梯度预言机更新迭代点，确保在 $O(1/\sigma^2\varepsilon^2)$ 次迭代内收敛至 $\varepsilon$-最优解。
• 对于零阶模型，开发了一种基于有限差分的随机梯度估计变体，实现 $O(d^2/\sigma^2\varepsilon^4)$ 的收敛速率。
• 算法按阶段进行：从高度平滑的版本（$\delta = 7$）开始，逐步减少平滑度，并将前一阶段的解作为下一阶段的初始化。
• 理论分析依赖于对平滑引入偏差的控制以及对随机梯度方差的约束，从而在非凸条件下确保收敛。

实验结果

研究问题

• RQ1 连续优化能否在随机非凸问题上实现严格分析？在何种条件下可收敛至全局最优解？
• RQ2 是否存在一类自然的非凸函数，使得连续优化可严格收敛至 $\varepsilon$-最优解？
• RQ3 该方法能否扩展至仅能获取带噪声函数值查询的场景（即零阶优化）？可实现何种收敛速率？
• RQ4 所提出的算法是否在非凸问题（如神经网络训练）中优于标准随机梯度下降，能更有效地逃离不良局部极小值？
• RQ5 该理论框架能否扩展至二阶或其它优化方法，以实现更优的收敛速率？

主要发现

• 对于 $\sigma$-nice 函数，该算法可在 $O(1/\varepsilon^2)$ 次基于梯度的步长内收敛至 $\varepsilon$-近似解，且收敛速率依赖于平滑参数 $\sigma$。
• 在带噪声梯度的随机设置下，算法仍保持 $O(1/\varepsilon^2)$ 的收敛速率，且与维度 $d$ 无关。
• 在零阶优化模型中，算法在 $O(d^2/\varepsilon^4)$ 次迭代内收敛，反映出在无梯度信息下梯度估计难度的增加。
• 在 MNIST 上的实验结果表明，连续优化方法能加速收敛，并在标准 MSGD 停滞的局部极小值处成功逃离。
• 当 $\delta=7$ 时，损失函数的平滑版本可消除损失曲面中的狭窄山谷，使优化器能够逃离局部极小值并逼近全局最优解。
• $\sigma$-nice 性质捕捉了真实世界数据中常见的非凸结构，例如在神经网络训练中，局部极小值常被狭窄而深邃的山谷所包围。