[论文解读] Universal Stagewise Learning for Non-Convex Problems with Convergence on Averaged Solutions

Zaiyi Chen, Zhuoning Yuan+4 more|arXiv (Cornell University)|Aug 19, 2018

Stochastic Gradient Optimization Techniques被引用 31

一句话总结

本文提出了一种适用于弱凸非凸问题的通用分阶段优化框架，该框架采用分阶段恒定步长，并以递增的概率选择各阶段的平均解。该工作首次为此类设置建立了理论收敛保证，展示了分阶段AdaGrad在稀疏梯度设置下相对于Sgd的自适应收敛优势。

ABSTRACT

Although stochastic gradient descent (SGD) method and its variants (e.g., stochastic momentum methods, AdaGrad) are the choice of algorithms for solving non-convex problems (especially deep learning), there still remain big gaps between the theory and the practice with many questions unresolved. For example, there is still a lack of theories of convergence for SGD and its variants that use stagewise step size and return an averaged solution in practice. In addition, theoretical insights of why adaptive step size of AdaGrad could improve non-adaptive step size of {\\sgd} is still missing for non-convex optimization. This paper aims to address these questions and fill the gap between theory and practice. We propose a universal stagewise optimization framework for a broad family of {\\bf non-smooth non-convex} (namely weakly convex) problems with the following key features: (i) at each stage any suitable stochastic convex optimization algorithms (e.g., SGD or AdaGrad) that return an averaged solution can be employed for minimizing a regularized convex problem; (ii) the step size is decreased in a stagewise manner; (iii) an averaged solution is returned as the final solution that is selected from all stagewise averaged solutions with sampling probabilities {\\it increasing} as the stage number. Our theoretical results of stagewise AdaGrad exhibit its adaptive convergence, therefore shed insights on its faster convergence for problems with sparse stochastic gradients than stagewise SGD. To the best of our knowledge, these new results are the first of their kind for addressing the unresolved issues of existing theories mentioned earlier. Besides theoretical contributions, our empirical studies show that our stagewise SGD and ADAGRAD improve the generalization performance of existing variants/implementations of SGD and ADAGRAD.

研究动机与目标

• 为实践中常用的随机优化算法（特别是采用分阶段步长和平均解的算法）在收敛性分析方面填补理论空白。
• 提供一个统一的理论框架，以解释深度学习中常见的启发式方法，如学习率衰减和解平均。
• 解释为何AdaGrad中的自适应步长在非凸优化中（尤其是在稀疏梯度设置下）优于非自适应的Sgd，并从理论上加以证明。
• 在实际算法启发式（如步长多项式衰减和解平均）下，为一大类非光滑、非凸（弱凸）问题建立收敛性。

提出的方法

• 该框架采用分阶段优化过程，每个阶段使用恒定步长，并利用随机凸优化算法（如Sgd、AdaGrad）求解正则化凸问题。
• 在每个阶段，算法返回一个平均解，最终解是从所有阶段中按递增概率随机选择的平均解。
• 各阶段之间采用多项式衰减方式降低步长，从而支持理论收敛性分析。
• 该方法利用Fenchel共轭和强凸性性质来界定对偶间隙并推导收敛速率。
• 通过使用鞅差序列和有界梯度假设来控制收敛分析中的随机误差项。
• 该框架可应用于多种基础算法，包括Sgd、随机加速梯度法、Nesterov方法、ADMM和AdaGrad，并提供统一的收敛性证明。

实验结果

研究问题

• RQ1 能否为采用分阶段恒定步长并返回平均解的随机优化算法建立理论收敛保证？
• RQ2 为何AdaGrad在具有稀疏梯度的非凸设置下收敛速度优于Sgd？这一现象能否从理论上得到解释？
• RQ3 分阶段步长与解平均的结合是否能提升非凸优化中的泛化性能？
• RQ4 能否开发一个统一框架，用于分析在实际启发式（如步长衰减和解平均）下的多种随机算法？

主要发现

• 所提出的分阶段AdaGrad框架实现了自适应收敛，其在具有稀疏随机梯度的问题上收敛速度优于分阶段Sgd。
• 理论分析证明了分阶段框架中平均解的收敛性，最终解在各阶段中被选择的概率随阶段编号递增。
• 该框架首次为采用平均解的分阶段Sgd和AdaGrad在多项式步长衰减方案下建立了收敛保证。
• 分析表明，期望的次优性间隙被有界为 $ \frac{1}{M\eta}\|\mathbf{x}_0 - \mathbf{x}_*\|^2 + \frac{\eta}{M} $，其中 $ M $ 控制阶段数量。
• 该框架为实践中常用的解平均启发式提供了理论支持，该启发式与标准理论（偏好后期迭代）相悖，但本研究证明在所提出的采样方案下可实现更优收敛性。
• 实验结果证实，与标准变体相比，分阶段Sgd和AdaGrad在深度学习基准测试中显著提升了泛化性能。