[论文解读] On the Global Linear Convergence of the ADMM with Multi-Block Variables

Tianyi Lin, Shiqian Ma+1 more|arXiv (Cornell University)|Aug 19, 2014

Sparse and Compressive Sensing Techniques参考文献 31被引用 11

一句话总结

本文在强凸性、梯度利普希茨连续性以及某些矩阵的满行秩等易于验证的条件下，建立了对 $N \geq 3$ 个块的凸优化问题，其增广拉格朗日乘子法（ADMM）的全局线性收敛性。作者将收敛性保证从广为人知的两块情形扩展至多块情形，解释了 ADMM 在大规模多块问题中实际成功的根源。

ABSTRACT

The alternating direction method of multipliers (ADMM) has been widely used for solving structured convex optimization problems. In particular, the ADMM can solve convex programs that minimize the sum of $N$ convex functions with $N$-block variables linked by some linear constraints. While the convergence of the ADMM for $N=2$ was well established in the literature, it remained an open problem for a long time whether or not the ADMM for $N \ge 3$ is still convergent. Recently, it was shown in [3] that without further conditions the ADMM for $N\ge 3$ may actually fail to converge. In this paper, we show that under some easily verifiable and reasonable conditions the global linear convergence of the ADMM when $N\geq 3$ can still be assured, which is important since the ADMM is a popular method for solving large scale multi-block optimization models and is known to perform very well in practice even when $N\ge 3$. Our study aims to offer an explanation for this phenomenon.

研究动机与目标

• 解决长期以来关于 ADMM 在 $N \geq 3$ 个块变量下是否具有全局线性收敛性的开放性问题。
• 识别 ADMM 在多块凸优化中实现全局线性收敛的最小且可验证的条件。
• 为 ADMM 在机器学习和图像处理等涉及多个块的大规模问题中的经验成功提供理论依据。
• 将现有针对两块 ADMM 的收敛结果推广至更一般的多块情形。

提出的方法

• 将多块 ADMM 表述为具有 $N$ 个块变量且通过线性约束连接的增广拉格朗日函数最小化问题。
• 利用算子分裂和单调算子理论分析收敛性，借助余强制性和利普希茨连续性等性质。
• 提出三种不同情形，每种情形均对目标函数和约束矩阵施加特定的结构假设，以保证全局线性收敛。
• 应用谱分析和误差界技术，在强凸性和满秩条件下推导线性收敛速率。
• 推导出包含 $N-1$ 个函数的强凸性、梯度的利普希茨连续性以及 $A_N$ 的满行秩在内的充分条件，确保线性收敛。
• 通过在效用最大化问题上的数值实验验证理论结果，展示了实际中线性收敛的表现。

实验结果

研究问题

• RQ1 当 $N \geq 3$ 时，标准 ADMM 在何种条件下可实现全局线性收敛？
• RQ2 能否将两块 ADMM 的收敛保证扩展至 $N \geq 3$ 的多块问题？
• RQ3 对目标函数和约束矩阵施加何种结构假设，可确保多块情形下 ADMM 的线性收敛？
• RQ4 尽管一般多块变体已知存在不收敛性，为何 ADMM 在实践中表现良好？

主要发现

• 当 $N-1$ 个函数 $f_i$ 为强凸函数，$\nabla f_N$ 满足利普希茨连续性，且 $A_N$ 具有满行秩时，ADMM 对 $N \geq 3$ 实现全局线性收敛。
• 收敛速率是线性的，速率常数 $\delta_1$ 在数值实验中约为 $1.01 \times 10^{-2}$。
• 惩罚参数 $\gamma$ 可选择接近其理论最大值 $\gamma_{\text{max}}$ 而不损失收敛性，实验中采用 $\gamma = 0.99 \cdot \gamma_{\text{max}}$ 验证了这一点。
• 数值结果证实了在测试问题中所有块的迭代误差 $\|x_i - x_i^*\|$ 均呈现线性收敛，支持了理论结论。
• 理论框架推广了先前关于两块 ADMM 的结果，在温和且可验证的条件下将其扩展至多块问题。
• 本文通过证明在合理假设下 ADMM 可在 $N \geq 3$ 时实现全局线性收敛，解决了长期存在的开放性问题，解释了其在实际应用中的高效性。