[论文解读] On the Convergence Rate of Multi-Block ADMM

Tianyi Lin, Shiqian Ma+1 more|arXiv (Cornell University)|Aug 19, 2014

Sparse and Compressive Sensing Techniques参考文献 23被引用 23

一句话总结

本文建立了在多块凸优化中标准ADMM的收敛速率，针对N ≥ 3个块的情况，证明当一个函数为凸函数，其余N−1个函数为强凸函数时，其在遍历意义下收敛速率为O(1/t)，在非遍历意义下收敛速率为o(1/t)。该结果解决了长期以来关于ADMM在此类设置下收敛行为的不确定性。

ABSTRACT

The alternating direction method of multipliers (ADMM) is widely used in solving structured convex optimization problems. Despite of its success in practice, the convergence properties of the standard ADMM for minimizing the sum of N (N ≥ 3) convex functions with N block variables linked by linear constraints, have remained unclear for a very long time. In this paper, we present convergence and convergence rate results for the standard ADMM applied to solve N-block (N ≥ 3) convex minimization problem, under the condition that one of these functions is convex (not necessarily strongly convex) and the other N − 1 functions are strongly convex. Specifically, in that case the ADMM is proven to converge with rate O(1/t) in a certain ergodic sense, and o(1/t) in non-ergodic sense, where t denotes the number of iterations.

研究动机与目标

• 解决标准ADMM在多块凸优化中N ≥ 3个块时收敛性质的长期不确定性问题。
• 建立当目标函数由一个凸函数和N−1个强凸函数组成时ADMM的收敛速率。
• 为此类问题在遍历和非遍历意义下提供收敛速度的理论保证。
• 将ADMM的理论理解从已充分确立收敛性的两块情形扩展至多块情形。

提出的方法

• 分析采用李雅普诺夫函数方法，以追踪ADMM迭代过程随时间的进展。
• 该方法依赖于构建一个结合原始残差、对偶残差和目标函数值的势函数。
• 在假设一个函数为凸函数，其余N−1个函数为强凸函数的前提下证明收敛，从而确保足够的曲率以实现收敛。
• 分析区分了遍历与非遍历收敛，基于平均化与逐点行为分别推导出不同的收敛速率。
• 推导出关键不等式，以界定每轮迭代中李雅普诺夫函数的下降量，最终得出收敛速率。

实验结果

研究问题

• RQ1 当N ≥ 3且一个函数为凸函数、其余为强凸函数时，标准ADMM在N块凸优化中的收敛速率是多少？
• RQ2 在这些条件下，ADMM是否在遍历意义下收敛？若是，收敛速率如何？
• RQ3 能否建立非遍历收敛速率？其与遍历速率相比有何差异？
• RQ4 在N−1个块中存在强凸性时，与一般多块情形相比，其收敛行为有何不同？

主要发现

• 当一个函数为凸函数，其余N−1个函数为强凸函数时，ADMM在遍历意义下的收敛速率为O(1/t)。
• 非遍历收敛速率为o(1/t)，表明逐点迭代的衰减速率快于O(1/t)。
• 收敛结果在标准ADMM更新格式下建立，无需额外修改或假设，仅依赖于凸性与强凸性条件。
• 理论分析证实，即使在N ≥ 3的具有挑战性的多块设置下，ADMM仍保持收敛并能实现可证明的收敛速率。
• 该结果为ADMM在多块问题中的实际成功提供了理论基础，尤其在部分组件为强凸函数时更为显著。