[论文解读] Stochastic Alternating Direction Method of Multipliers with Variance Reduction for Nonconvex Optimization

Feihu Huang, Songcan Chen+1 more|arXiv (Cornell University)|Oct 10, 2016

Sparse and Compressive Sensing Techniques参考文献 29被引用 12

一句话总结

该论文提出了三种方差减少的随机ADMM变体——SVRG-ADMM、SAG-ADMM和SAGA-ADMM——用于非凸优化，利用方差减少的随机梯度以加速收敛。在温和条件下，这些方法可实现找到ε-驻立解的O(1/ε)迭代复杂度，为分析带有方差减少的非凸随机ADMM提供了一个通用框架。

ABSTRACT

In the paper, we study the stochastic alternating direction method of multipliers (ADMM) for the nonconvex optimizations, and propose three classes of the nonconvex stochastic ADMM with variance reduction, based on different reduced variance stochastic gradients. Specifically, the first class called the nonconvex stochastic variance reduced gradient ADMM (SVRG-ADMM), uses a multi-stage scheme to progressively reduce the variance of stochastic gradients. The second is the nonconvex stochastic average gradient ADMM (SAG-ADMM), which additionally uses the old gradients estimated in the previous iteration. The third called SAGA-ADMM is an extension of the SAG-ADMM method. Moreover, under some mild conditions, we establish the iteration complexity bound of $O(1/ε)$ of the proposed methods to obtain an $ε$-stationary solution of the nonconvex optimizations. In particular, we provide a general framework to analyze the iteration complexity of these nonconvex stochastic ADMM methods with variance reduction. Finally, some numerical experiments demonstrate the effectiveness of our methods.

研究动机与目标

• 为解决由于随机梯度中高方差导致的随机ADMM在非凸优化中收敛缓慢的问题。
• 将方差减少技术——SVRG、SAG和SAGA——扩展至非凸问题的ADMM框架中。
• 建立一个用于带有方差减少的非凸随机ADMM的通用收敛性分析框架。
• 在非凸设置下，实现找到ε-驻立解的O(1/ε)迭代复杂度。
• 通过在非凸模型上的数值实验验证所提方法的有效性。

提出的方法

• 提出SVRG-ADMM，采用多阶段方案逐步降低随机ADMM中的梯度方差。
• 通过整合前期迭代中已计算的梯度，提出SAG-ADMM以减少方差。
• 提出SAGA-ADMM作为SAG-ADMM的扩展，通过更高效的梯度更新策略提升收敛性。
• 采用基于通用李雅普诺夫函数的分析方法，在较弱假设下推导收敛性保证。
• 使用带有方差减少的随机梯度估计器，以稳定非凸设置下的ADMM子问题。
• 应用步长规则和对偶变量更新机制，确保收敛至驻立点。

实验结果

研究问题

• RQ1 方差减少的随机梯度方法能否被有效适配至非凸优化的ADMM框架？
• RQ2 在非凸设置下，带有方差减少的随机ADMM的迭代复杂度是多少？
• RQ3 SVRG、SAG和SAGA变体在非凸ADMM中的性能和收敛性表现如何比较？
• RQ4 能否为带有方差减少的非凸随机ADMM建立统一的收敛性分析框架？
• RQ5 在非凸随机ADMM中，确保收敛至ε-驻立解的条件是什么？

主要发现

• 所提出的非凸随机ADMM方法可实现找到ε-驻立解的O(1/ε)迭代复杂度，与非凸随机优化的最佳已知速率相当。
• SAGA-ADMM变体以O(1/T)的收敛速率收敛至ε-驻立点，其中T为迭代次数。
• 理论分析证实，在包括梯度Lipschitz连续性和有界方差在内的温和假设下，方法可收敛至驻立点。
• 数值实验表明，与标准随机ADMM相比，所提方法在非凸问题上表现出更高的有效性和更快的收敛速度。
• 该框架可良好推广至多种非凸模型，包括鲁棒图引导学习和稀疏学习。
• 该方法无需额外存储历史梯度或对偶变量，因此在大规模问题中具有良好的可扩展性。