[论文解读] Non-convex Finite-Sum Optimization Via SCSG Methods

Lihua Lei, Cheng Ju+2 more|arXiv (Cornell University)|Jun 28, 2017

Stochastic Gradient Optimization Techniques被引用 111

一句话总结

本文提出SCSG，一种用于非凸有限和问题的新型随机优化方法，结合方差缩减与随机控制，实现了更优的收敛复杂度。其复杂度界为$O(\min\{\epsilon^{-5/3}, \epsilon^{-1}n^{2/3}\})$，优于SGD及当前最先进方法，尤其在低目标精度下表现更优，并在深度神经网络上得到实验验证。

ABSTRACT

We develop a class of algorithms, as variants of the stochastically controlled stochastic gradient (SCSG) methods , for the smooth nonconvex finite-sum optimization problem. Only assuming the smoothness of each component, the complexity of SCSG to reach a stationary point with $E \| abla f(x)\|^{2}\le \epsilon$ is $O(\min\{\epsilon^{-5/3}, \epsilon^{-1}n^{2/3}\})$, which strictly outperforms the stochastic gradient descent. Moreover, SCSG is never worse than the state-of-the-art methods based on variance reduction and it significantly outperforms them when the target accuracy is low. A similar acceleration is also achieved when the functions satisfy the Polyak-Lojasiewicz condition. Empirical experiments demonstrate that SCSG outperforms stochastic gradient methods on training multi-layers neural networks in terms of both training and validation loss.

研究动机与目标

• 为解决非凸有限和优化中随机梯度方法收敛效率低下的挑战。
• 开发一种复杂度界优于现有方法的算法，尤其在低目标精度下表现更优。
• 在光滑性假设及Polyak-Lojasiewicz条件下分析收敛行为。
• 在深度神经网络训练中对性能提升进行实验验证。

提出的方法

• 该方法是随机控制随机梯度（SCSG）算法的一种变体，专为光滑非凸有限和问题设计。
• 采用方差缩减技术以稳定梯度估计并加速收敛。
• 算法使用随机控制机制，平衡梯度更新中的探索与利用。
• 在仅假设分量光滑性的前提下进行收敛性分析，无需强凸性假设。
• 在Polyak-Lojasiewicz条件下分析该方法，以证明其收敛速率的改进。
• 在多层神经网络上使用训练损失与验证损失作为指标进行实验评估。

实验结果

研究问题

• RQ1 SCSG能否在非凸有限和问题中实现优于随机梯度下降的收敛复杂度？
• RQ2 SCSG在收敛速度与精度方面与当前最先进方差缩减方法相比如何？
• RQ3 SCSG方法在Polyak-Lojasiewicz条件下是否仍保持优越性能？
• RQ4 SCSG能否显著降低深度神经网络训练中的训练与验证损失？

主要发现

• SCSG实现$O(\min\{\epsilon^{-5/3}, \epsilon^{-1}n^{2/3}\})$的收敛复杂度，以达到驻点，其性能严格优于随机梯度下降。
• 该方法在任何情况下均不弱于当前最先进方差缩减方法，且在低目标精度下显著优于它们。
• 在Polyak-Lojasiewicz条件下，SCSG在加速效果方面与一般光滑情况下的表现相似。
• 实验结果表明，SCSG在多层神经网络上比标准随机梯度方法更有效地降低训练与验证损失。