[论文解读] Solving Multiple-Block Separable Convex Minimization Problems Using Two-Block Alternating Direction Method of Multipliers

Xiangfeng Wang, Mingyi Hong+2 more|arXiv (Cornell University)|Aug 24, 2013

Sparse and Compressive Sensing Techniques参考文献 38被引用 87

一句话总结

该论文提出了一种新颖的两块ADMM方法，通过在对偶域或原始域中将多块可分凸优化问题重新表述为等价的两块形式，以求解多块可分凸优化问题。该方法实现了改进的O(1/ε)迭代复杂度，并且在数值性能上优于标准多块ADMM，尽管后者缺乏理论收敛保证。

ABSTRACT

In this paper, we consider solving multiple-block separable convex minimization problems using alternating direction method of multipliers (ADMM). Motivated by the fact that the existing convergence theory for ADMM is mostly limited to the two-block case, we analyze in this paper, both theoretically and numerically, a new strategy that first transforms a multi-block problem into an equivalent two-block problem (either in the primal domain or in the dual domain) and then solves it using the standard two-block ADMM. In particular, we derive convergence results for this two-block ADMM approach to solve multi-block separable convex minimization problems, including an improved O(1/ε) iteration complexity result. Moreover, we compare the numerical efficiency of this approach with the standard multi-block ADMM on several separable convex minimization problems which include basis pursuit, robust principal component analysis and latent variable Gaussian graphical model selection. The numerical results show that the multiple-block ADMM, although lacks theoretical convergence guarantees, typically outperforms two-block ADMMs.

研究动机与目标

• 解决标准多块ADMM在求解多块可分凸最小化问题时缺乏收敛保证的问题。
• 开发一种两块ADMM框架，将多块问题转化为原始空间或对偶空间中的等价两块形式。
• 为所提出的两块ADMM方法建立理论收敛性及改进的迭代复杂度。
• 通过真实世界问题的数值实验，评估两块ADMM相对于标准多块ADMM的效率。
• 为多块ADMM提供一种实际且理论可靠的替代方案，后者虽然在数值上表现良好，但缺乏收敛性证明。

提出的方法

• 通过在原始域或对偶域中聚合变量，将多块问题重新表述为等价的两块问题。
• 对变换后的两块问题应用标准的两块ADMM，利用该情形下已有的收敛性理论。
• 采用正定矩阵的近端项，以确保子问题中的收敛性和稳定性。
• 理论分析建立了两块ADMM的O(1/ε)迭代复杂度上界，优于先前结果。
• 通过近端算子和对偶上升步骤处理非光滑和非凸分量。
• 数值实验在基追踪、鲁棒PCA和潜变量高斯图形模型问题上，对比了两块ADMM与标准多块ADMM。

实验结果

研究问题

• RQ1 是否可以通过问题重构，利用两块ADMM框架有效求解多块可分凸问题？
• RQ2 所提出的两块ADMM方法在多块问题上的收敛行为和迭代复杂度如何？
• RQ3 两块ADMM的数值性能与缺乏理论收敛保证的标准多块ADMM相比如何？
• RQ4 对偶域重构是否相比原始域重构具有更好的收敛性或效率？
• RQ5 所提出的方法是否相比现有ADMM变体在多块问题上实现了改进的迭代复杂度？

主要发现

• 所提出的两块ADMM在求解多块可分凸最小化问题时，实现了改进的O(1/ε)迭代复杂度。
• 该方法具有理论收敛性，而标准多块ADMM尽管数值表现强劲，但缺乏收敛保证。
• 数值结果表明，两块ADMM在基追踪、鲁棒PCA和潜变量高斯图形模型选择问题上的收敛速度优于标准多块ADMM。
• 将多块问题在对偶域中重构为两块形式，相比原始域版本，能带来更稳定和高效的迭代。
• 收敛性分析适用于ADMM的精确和近似版本，适当的近端项可确保收敛。
• 迭代复杂度的理论界是紧致的，与两块情形下ADMM的最佳已知速率一致。