[论文解读] On the convergence properties of a majorized ADMM for linearly constrained convex optimization problems with coupled objective functions

Ying Cui, Xudong Li+2 more|arXiv (Cornell University)|Jan 31, 2015

Optimization and Variational Analysis参考文献 14被引用 41

一句话总结

本文建立了用于带线性约束的凸优化问题的增广拉格朗日对偶乘子法（majorized ADMM）的收敛性，通过广义中值定理控制耦合项带来的交叉项。证明了在较大步长 τ ∈ (0, (1+√5)/2) 下的全局收敛性，并给出了获得 ε-近似解的 O(1/ε) 迭代复杂度。

ABSTRACT

In this paper, we establish the convergence properties for a majorized alternating direction method of multipliers (ADMM) for linearly constrained convex optimization problems whose objectives contain coupled functions. Our convergence analysis relies on the generalized Mean-Value Theorem which plays an important role to properly control the cross terms due to the presence of coupled objective functions. Our results in particular show that directly applying 2-block ADMM with a large step length to the linearly constrained convex optimization problem with a quadratically coupled objective function is convergent under mild conditions. We also provide several iteration complexity results for the algorithm.

研究动机与目标

• 建立带线性约束的凸优化问题中，具有耦合目标函数的增广拉格朗日对偶乘子法（majorized ADMM）的收敛性性质。
• 解决当目标函数因耦合项而不可分时，ADMM 缺乏收敛性分析的问题。
• 在较弱条件下，为该算法提供迭代复杂度结果。
• 将收敛性保证扩展至耦合函数为凸二次函数的情形。

提出的方法

• 采用增广拉格朗日对偶乘子法（majorized ADMM）框架，通过引入辅助变量和邻近项，处理非可分的耦合目标函数。
• 应用广义中值定理，控制增广拉格朗日函数中由耦合函数 φ(u,v) 引起的交叉项。
• 通过包含广义 Hessian 矩阵以及邻近算子 S 和 T 的类李雅普诺夫函数，推导收敛条件。
• 利用舒尔补技巧和矩阵不等式，分析迭代序列的下降行为与收敛性。
• 通过在迭代过程中对不等式求和并利用目标函数的凸性，建立递推的递推复杂度界。
• 同时考虑标准 ADMM 与增广拉格朗日对偶乘子法（majorized ADMM）变体，明确给出了步长 τ 与邻近参数的条件。

实验结果

研究问题

• RQ1 在何种条件下，增广拉格朗日对偶乘子法（majorized ADMM）对带线性约束的凸优化问题且具有耦合目标函数时能够收敛？
• RQ2 当存在耦合的光滑凸函数 φ(u,v) 时，其如何影响 ADMM 的收敛行为？
• RQ3 对于此类问题，能否在步长 τ > 1 的情况下实现 ADMM 的全局收敛？
• RQ4 增广拉格朗日对偶乘子法（majorized ADMM）在达到 ε-最优解时的迭代复杂度是多少？
• RQ5 该收敛性分析能否推广至多块变量问题或多块不定邻近项的情形？

主要发现

• 当步长 τ ∈ (0, (1+√5)/2) 时，增广拉格朗日对偶乘子法（majorized ADMM）对带线性约束的凸优化问题且具有耦合目标函数时具有全局收敛性。
• 在较弱条件下，通过广义中值定理控制耦合函数带来的交叉项，实现了收敛性证明。
• 对于凸二次耦合函数，耦合参数 η 的影响消失（即 η = 0），从而简化了收敛条件。
• 该算法在整体意义下可达到 O(1/ε) 的迭代复杂度，以获得 ε-最优解。
• 通过李雅普诺夫函数分析，得到了原问题可行性与目标函数的 O(1/k) 整体收敛速率，并给出了显式界。
• 本研究将先前针对可分 ADMM 的复杂度界扩展至非可分、耦合设置，提供了一个统一的收敛性框架。