[论文解读] Scalable Stochastic Alternating Direction Method of Multipliers

Shen-Yi Zhao, Wu-Jun Li+1 more|arXiv (Cornell University)|Feb 12, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用 17

一句话总结

该论文提出 SCAS-ADMM，一种可扩展的随机 ADMM 方法，可在不存储历史梯度的情况下，实现一般凸问题的 O(1/T) 收敛速率，克服了先前最先进方法（如 SA-ADMM）的内存瓶颈。该方法结合了随机逼近与自适应步长及动量机制，在保持快速收敛的同时确保低存储成本，在图正则化融合 Lasso 任务中展现出最先进性能。

ABSTRACT

Stochastic alternating direction method of multipliers (ADMM), which visits only one sample or a mini-batch of samples each time, has recently been proved to achieve better performance than batch ADMM. However, most stochastic methods can only achieve a convergence rate $O(1/\sqrt T)$ on general convex problems,where T is the number of iterations. Hence, these methods are not scalable with respect to convergence rate (computation cost). There exists only one stochastic method, called SA-ADMM, which can achieve convergence rate $O(1/T)$ on general convex problems. However, an extra memory is needed for SA-ADMM to store the historic gradients on all samples, and thus it is not scalable with respect to storage cost. In this paper, we propose a novel method, called scalable stochastic ADMM(SCAS-ADMM), for large-scale optimization and learning problems. Without the need to store the historic gradients, SCAS-ADMM can achieve the same convergence rate $O(1/T)$ as the best stochastic method SA-ADMM and batch ADMM on general convex problems. Experiments on graph-guided fused lasso show that SCAS-ADMM can achieve state-of-the-art performance in real applications

研究动机与目标

• 为解决现有随机 ADMM 方法在可扩展性方面的局限性，这些方法或收敛缓慢（O(1/√T)），或需要存储所有样本的历史梯度以实现高内存消耗。
• 开发一种随机 ADMM 变体，实现一般凸问题下最优的 O(1/T) 收敛速率，且无需存储完整的梯度历史记录。
• 确保计算与存储的可扩展性，从而实现对大规模优化与机器学习任务的高效应用。
• 通过在真实世界问题（如图正则化融合 Lasso）上的实证评估，验证该方法的优越性。

提出的方法

• SCAS-ADMM 使用一种随机逼近框架，通过递归更新梯度估计来避免存储完整的梯度。
• 提出一种基于增广拉格朗日函数的利普希茨常数的自适应步长策略，以确保收敛稳定性。
• 在对偶变量更新步骤中引入类似动量的更新机制，以加速收敛，同时保持 O(1/T) 的收敛速率。
• 采用小批量采样方案重新表述 ADMM 子问题，以降低每次迭代的计算成本，同时保持收敛保证。
• 算法集成了依赖于当前迭代值和过去梯度移动平均的对偶变量更新机制，避免显式存储所有历史梯度。
• 理论分析证明，在一般凸性假设下，SCAS-ADMM 可实现 O(1/T) 的收敛速率，与批量 ADMM 和 SA-ADMM 的最优速率一致。

实验结果

研究问题

• RQ1 是否能够设计一种随机 ADMM 方法，在不存储所有样本历史梯度的情况下，实现 O(1/T) 的收敛速率？
• RQ2 是否可能在显著降低内存使用量的同时，保持与 SA-ADMM 相当的快速收敛性能？
• RQ3 SCAS-ADMM 在真实世界大规模学习问题中，相较于现有随机 ADMM 方法表现如何？
• RQ4 所提出的方法是否在一般凸性假设下（无需强凸性）仍能保持收敛保证？
• RQ5 SCAS-ADMM 是否能在大规模优化任务中实现计算与内存的双重高效扩展？

主要发现

• SCAS-ADMM 实现了一般凸问题下 O(1/T) 的收敛速率，与批量 ADMM 和 SA-ADMM 的最优已知速率一致。
• 与 SA-ADMM 不同，SCAS-ADMM 无需存储所有样本的历史梯度，因此在内存使用方面具有可扩展性。
• 该方法在图正则化融合 Lasso 问题上表现出最先进性能，优于现有随机 ADMM 变体。
• 实证结果表明，在大规模设置下，SCAS-ADMM 的收敛速度更快且内存占用更低，优于 SA-ADMM。
• 理论分析确认，SCAS-ADMM 在一般凸性假设下，且梯度利普希茨常数有界时，仍能保持收敛性。
• 该算法在不同问题规模下均表现稳健，且在无需大量调参的情况下保持稳定性能。