[论文解读] Parallel Multi-Block ADMM with o(1/k) Convergence

Wei Deng, Ming‐Jun Lai+2 more|arXiv (Cornell University)|Dec 11, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用 48

一句话总结

本文提出了一种用于具有可分结构的凸优化问题的并行、分布式多块ADMM算法，通过引入邻近项确保以 o(1/k) 的速率实现全局收敛。该方法通过雅可比型更新将ADMM扩展至N个块，在较宽松条件下建立了收敛性，并提出了一种动态参数调优策略以实现实际加速，在分布式环境下的大规模基础追踪问题中表现出优越性能。

ABSTRACT

This paper introduces a parallel and distributed extension to the alternating direction method of multipliers (ADMM) for solving convex problem: minimize $\sum_{i=1}^N f_i(x_i)$ subject to $\sum_{i=1}^N A_i x_i=c, x_i\in \mathcal{X}_i$. The algorithm decomposes the original problem into N smaller subproblems and solves them in parallel at each iteration. This Jacobian-type algorithm is well suited for distributed computing and is particularly attractive for solving certain large-scale problems. This paper introduces a few novel results. Firstly, it shows that extending ADMM straightforwardly from the classic Gauss-Seidel setting to the Jacobian setting, from 2 blocks to N blocks, will preserve convergence if matrices $A_i$ are mutually near-orthogonal and have full column-rank. Secondly, for general matrices $A_i$, this paper proposes to add proximal terms of different kinds to the N subproblems so that the subproblems can be solved in flexible and efficient ways and the algorithm converges globally at a rate of o(1/k). Thirdly, a simple technique is introduced to improve some existing convergence rates from O(1/k) to o(1/k). In practice, some conditions in our convergence theorems are conservative. Therefore, we introduce a strategy for dynamically tuning the parameters in the algorithm, leading to substantial acceleration of the convergence in practice. Numerical results are presented to demonstrate the efficiency of the proposed method in comparison with several existing parallel algorithms. We implemented our algorithm on Amazon EC2, an on-demand public computing cloud, and report its performance on very large-scale basis pursuit problems with distributed data.

研究动机与目标

• 开发一种适用于大规模可分结构凸问题的可扩展、分布式优化算法。
• 在并行、雅可比型框架下，将经典ADMM从两块扩展至N块。
• 在较宽松条件下，为所提出的多块ADMM建立全局收敛性及 o(1/k) 的收敛速率。
• 通过一种新颖的分析技术，将收敛速率从 O(1/k) 提升至 o(1/k)。
• 引入一种动态参数调优策略，以在不牺牲理论保证的前提下显著提升实际收敛速度。

提出的方法

• 该算法在每次迭代中通过雅可比型更新方案并行求解N个子问题，将原问题分解为N个子问题。
• 在每个子问题中添加形式为 ‖x_i - x_i^k‖_P_i² 的邻近项，以增强数值稳定性和求解单个更新的灵活性。
• 在矩阵 A_i 相互近正交且列满秩，或对一般 A_i 矩阵采用邻近正则化时，可保证收敛性。
• 采用基于柯西-施瓦茨不等式和压缩性质的新型分析技术，将收敛速率从 O(1/k) 提升至 o(1/k)。
• 引入一种动态参数调优策略，以在迭代过程中自适应调整邻近参数，从而在实际中加速收敛。
• 该方法在Amazon EC2上实现，并在具有分布式数据的大规模基础追踪问题上进行了评估。

实验结果

研究问题

• RQ1 在并行和分布式环境下，经典ADMM能否从两块扩展至N块，同时保持全局收敛性？
• RQ2 约束矩阵 A_i 需满足何种条件，才能保证多块雅可比型ADMM的收敛性？
• RQ3 在多块设置下，能否将ADMM的收敛速率从 O(1/k) 提升至 o(1/k)？
• RQ4 如何利用邻近正则化来提升多块ADMM中子问题求解的灵活性与效率？
• RQ5 动态参数调优是否能在不损害理论收敛保证的前提下，显著加速实际收敛？

主要发现

• 当矩阵 A_i 相互近正交且列满秩时，所提出的多块ADMM可实现全局收敛。
• 对于一般 A_i 矩阵，引入邻近项可确保全局收敛，并实现 o(1/k) 的收敛速率。
• 本文提出一种技术，通过基于压缩性质的分析和柯西-施瓦茨不等式，将现有 O(1/k) 收敛速率改进为 o(1/k)。
• 数值结果表明，所提算法在大规模基础追踪问题上优于现有并行ADMM方法。
• 动态参数调优策略在实际中显著加速了收敛，即使在理论条件较为保守的情况下亦然。
• 该算法成功部署于Amazon EC2，展示了在分布式大规模优化中的可扩展性与高效性。