[论文解读] Two-block vs. Multi-block ADMM: An empirical evaluation of convergence

André Gonçalves, Xiaoli Liu+1 more|arXiv (Cornell University)|Jul 10, 2019

Sparse and Compressive Sensing Techniques参考文献 37被引用 5

一句话总结

本文通过实证评估在多任务学习问题中，两块ADMM与多块ADMM的性能表现，结果表明：在阿尔茨海默病、帕金森病和空气质量数据集上，多块ADMM在收敛速度、原始残差减少和预测精度方面始终优于两块ADMM。尽管存在理论上的担忧，多块ADMM在所有测试的对偶步长下均实现了显著更小的原始残差和更优的验证性能，表明在实践中应优先选择多块ADMM而非两块ADMM。

ABSTRACT

Alternating Direction Method of Multipliers (ADMM) has become a widely used optimization method for convex problems, particularly in the context of data mining in which large optimization problems are often encountered. ADMM has several desirable properties, including the ability to decompose large problems into smaller tractable sub-problems and ease of parallelization, that are essential in these scenarios. The most common form of ADMM is the two-block, in which two sets of primal variables are updated alternatingly. Recent years have seen advances in multi-block ADMM, which update more than two blocks of primal variables sequentially. In this paper, we study the empirical question: {\em Is two-block ADMM always comparable with sequential multi-block ADMM solving an equivalent problem?} In the context of optimization problems arising in multi-task learning, through a comprehensive set of experiments we surprisingly show that multi-block ADMM consistently outperformed two-block ADMM on optimization performance, and as a consequence on prediction performance, across all datasets and for the entire range of dual step sizes. Our results have an important practical implication: rather than simply using the popular two-block ADMM, one may considerably benefit from experimenting with multi-block ADMM applied to an equivalent problem.

研究动机与目标

• 探究在求解等价凸优化问题时，两块ADMM是否始终与多块ADMM表现相当。
• 评估两种变体在真实世界多任务学习问题上的实证收敛行为与预测性能。
• 通过将多块ADMM作为可行替代方案进行测试，挑战两块ADMM为默认选择的假设。
• 评估对偶步长对两块ADMM与多块ADMM收敛性和泛化性能的影响。
• 为研究人员和实践者在大规模凸优化中选择ADMM变体提供实际指导。

提出的方法

• 本研究采用带单一代对步长作为超参数的线性化ADMM，比较两块与多块ADMM。
• 实验在三个数据集上使用相同的优化问题形式（TS-MTL）：阿尔茨海默病、帕金森病和空气质量预测。
• 针对每个数据集，两种方法均运行1,000次迭代（部分情况为10,000次），重复10次以评估变异性。
• 收敛性通过原始残差、目标函数值以及测试数据上的验证nMSE进行衡量。
• 多块ADMM采用顺序的原始变量更新方式，直接扩展自两块框架。
• 所有比较均在广泛范围的对偶步长（达5个数量级）下进行，以确保鲁棒性评估。

实验结果

研究问题

• RQ1 多块ADMM在等价问题上是否比两块ADMM收敛更快且更稳定？
• RQ2 多块ADMM在不同数据集和对偶步长下是否始终具有性能优势？
• RQ3 尽管存在收敛性的理论担忧，多块ADMM是否仍能实现更优的预测性能？
• RQ4 对偶步长的选择如何影响两块ADMM与多块ADMM的收敛性和泛化性能？
• RQ5 在何种条件下，两块ADMM会发散而多块ADMM仍保持稳定？

主要发现

• 在所有数据集和对偶步长下，多块ADMM实现的原始残差比两块ADMM小几个数量级。
• 在阿尔茨海默病数据集中，多块ADMM相比两块ADMM将原始残差降低了高达3个数量级。
• 在帕金森病数据集中，当ρ = 0.5和ρ = 1时，两块ADMM陷入停滞，无法减少原始残差或验证nMSE，而多块ADMM持续收敛。
• 在所有测试的ρ值下，多块ADMM的验证nMSE始终低于两块ADMM，且在较高ρ值下差距进一步扩大。
• 当ρ > 1时，两块ADMM发生发散，而多块ADMM在更大ρ值范围内保持稳定并成功收敛。
• 在空气质量预测任务中，多块ADMM在较高ρ值（如ρ = 1）下表现出更稳定的收敛性和更优性能，即使在较低ρ值下nMSE差异不显著。