[论文解读] Weighted iteration complexity of the sPADMM on the KKT residuals for convex composite optimization

Li Shen, Shaohua Pan|arXiv (Cornell University)|Nov 10, 2016

Sparse and Compressive Sensing Techniques参考文献 25被引用 5

一句话总结

该论文通过一种新颖的广义HPE框架，建立了在凸复合优化中sPADMM在KKT残差上的O(1/k)加权迭代复杂度。它通过证明大步长ADMM及其近端变体的全息收敛速率，填补了关键理论空白，确保在显式子最优性界下的全局收敛性。

ABSTRACT

In this paper we establish an $\mathcal{O}({1}/{k})$ weighted iteration complexity on the KKT residuals yielded by the sPADMM (semi-proximal alternating direction method of multiplier) for the convex composite optimization problem. This result, which is derived with the help of a novel generalized HPE (hybrid proximal extra-gradient) iteration formula, first fills the gap on the ergodic iteration complexity of the classic ADMM with a large step-size and its many proximal variants.

研究动机与目标

• 解决经典ADMM及其近端变体在使用大步长（≥黄金比例）时缺乏全息迭代复杂度分析的问题。
• 为凸复合优化问题中的sPADMM在KKT残差上提供收敛速率保证。
• 提出一种新型广义HPE迭代公式，以推导加权迭代复杂度界。
• 在最小假设下，为sPADMM建立全局收敛性，并提供显式的子最优性界。
• 弥合ADMM类方法在多块及非光滑优化问题收敛分析中的理论缺口。

提出的方法

• 引入一种专为sPADMM设计的广义HPE框架，以支持加权迭代复杂度的分析。
• 基于原始-对偶迭代差和近端项，定义一种新的李雅普诺夫函数以追踪收敛过程。
• 在sPADMM迭代中采用三元分裂结构，以解耦y、z和x变量的更新。
• 建立涉及到解集T⁻¹(0)距离和原始残差范数的递归不等式。
• 利用初始迭代点到解集T⁻¹(0)的距离，推导出初始进展项d₁和η₁的上界。
• 采用包含算子S、T和Σ的加权范数结构，以控制收敛速率并确保有界性。

实验结果

研究问题

• RQ1 能否在凸复合优化中为sPADMM在KKT残差上建立O(1/k)加权迭代复杂度？
• RQ2 当步长超过黄金比例时，sPADMM是否能实现具有显式子最优性界的全息收敛？
• RQ3 能否构建一个广义HPE框架，以统一并扩展ADMM及其近端变体的收敛性分析？
• RQ4 初始迭代点和问题结构如何影响sPADMM的收敛速率？
• RQ5 是否可能在不假设近端项强正定性的情况下推导出迭代复杂度界？

主要发现

• sPADMM在凸复合优化问题的KKT残差上实现了O(1/k)加权迭代复杂度。
• 该结果通过一种新颖的广义HPE框架实现，使得在最小假设下仍可进行分析。
• 该结果填补了ADMM在大步长（≥黄金比例）下全息迭代复杂度文献中的关键理论空白。
• d₁和η₁的上界与初始迭代点到解集T⁻¹(0)的平方距离成正比。
• 分析过程不要求S和T使得S + Σ_φ_f + βAA*或T + Σ_φ_g + βBB*正定。
• 收敛是全局的，且通过包含KKT残差和原始-对偶迭代点的加权范数量化了子最优性。