[论文解读] On the Equivalence of Inexact Proximal ALM and ADMM for a Class of Convex Composite Programming

Liang Chen, Xudong Li+2 more|arXiv (Cornell University)|Mar 28, 2018

Sparse and Compressive Sensing Techniques参考文献 47被引用 3

一句话总结

本文建立了某种凸复合优化问题类中，不精确对称高斯-赛德尔（sGS）多块ADMM与不精确邻近增广拉格朗日方法（ALM）之间的等价性。关键贡献在于，该等价性使得ADMM在步长超过传统上界$(1+\sqrt{5})/2$时仍能保证收敛性，尤其当一个目标分量为线性时；并通过采用不精确子问题解法与更大步长，显著提升了计算效率。

ABSTRACT

In this paper, we show that for a class of linearly constrained convex composite optimization problems, an (inexact) symmetric Gauss-Seidel based majorized multi-block proximal alternating direction method of multipliers (ADMM) is equivalent to an {\em inexact} proximal augmented Lagrangian method (ALM). This equivalence not only provides new perspectives for understanding some ADMM-type algorithms but also supplies meaningful guidelines on implementing them to achieve better computational efficiency. Even for the two-block case, a by-product of this equivalence is the convergence of the whole sequence generated by the classic ADMM with a step-length that exceeds the conventional upper bound of $(1+\sqrt{5})/2$, if one part of the objective is linear. This is exactly the problem setting in which the very first convergence analysis of ADMM was conducted by Gabay and Mercier in 1976, but, even under notably stronger assumptions, only the convergence of the primal sequence was known. A collection of illustrative examples are provided to demonstrate the breadth of applications for which our results can be used. Numerical experiments on solving a large number of linear and convex quadratic semidefinite programming problems are conducted to illustrate how the theoretical results established here can lead to improvements on the corresponding practical implementations.

研究动机与目标

• 建立不精确sGS-基多块ADMM与凸复合规划中不精确邻近ALM之间的理论等价性。
• 解决经典ADMM在步长τ超过传统上界$(1+\sqrt{5})/2$时整个序列收敛性的开放问题。
• 为求解大规模线性及凸二次半定规划（SDP）提供实用指导，以提升计算效率。
• 证明在ADMM类算法中，结合不精确子问题解法与更大步长可显著改善数值性能。

提出的方法

• 通过证明在相同初始点与参数设置下，不精确sGS-ADMM与不精确邻近ALM生成的迭代序列完全一致，从而建立二者等价性。
• 利用对称高斯-赛德尔（sGS）分解处理多块问题，并引入邻近项以确保子问题有良好定义。
• 采用不精确解法策略，其中子问题以满足$\alpha \tilde{\varepsilon}_k \leq 1/k^{1.2}$的容差序列$\tilde{\varepsilon}_k$求解，从而保证收敛性。
• 算法框架在小规模系统中使用Cholesky分解实现，在大规模系统中采用预处理共轭梯度或邻近技术实现。
• 在迭代过程中自适应调整惩罚参数$\sigma$，以提升收敛速度。
• 在147个维度$n$从51到501不等的凸QSDP问题实例上进行数值实验，$\mathbfcal{Q}$采用对称化克罗内克算子。

实验结果

研究问题

• RQ1 当两个块问题中存在一个线性目标分量时，经典ADMM在整个序列的收敛性是否在步长$\tau$超过传统上界$(1+\sqrt{5})/2$时依然成立？
• RQ2 不精确sGS-ADMM能否在理论上与多块凸复合问题的不精确邻近ALM建立联系？
• RQ3 在ADMM中允许子问题采用不精确解法，是否相比精确子问题求解能显著提升计算效率？
• RQ4 在存在线性目标项的情况下，是否可以安全地使用更大的步长（$\tau > (1+\sqrt{5})/2$）而不影响ADMM的收敛性？
• RQ5 在求解大规模凸二次半定规划时，结合大步长与不精确子问题解法的实际影响如何？

主要发现

• 在相同初始点与参数设置下，不精确sGS-ADMM与不精确邻近ALM生成完全相同的迭代序列，从而确立了正式的等价性。
• 当一个目标分量为线性时，经典ADMM在$\tau > (1+\sqrt{5})/2$时仍能保证整个序列收敛，解决了长期存在的开放问题。
• 在147个凸QSDP实例中，约65%的实例中，sGS-iPADMM（$\tau = 1.9$）优于所有其他测试算法。
• 在sGS-iPADMM中采用不精确子问题解法相比sGS-PADMM的精确子问题求解，展现出显著的性能优势。
• 自适应调整惩罚参数$\sigma$与误差容差$\tilde{\varepsilon}_k$可显著提升收敛速度与鲁棒性。
• 数值结果证实，结合大步长（$\tau = 1.9$）与不精确子问题解法，在求解大规模凸QSDP时可实现卓越的计算效率。