[论文解读] Parallel Direction Method of Multipliers

Huahua Wang, Arindam Banerjee+1 more|arXiv (Cornell University)|Jun 16, 2014

Sparse and Compressive Sensing Techniques参考文献 43被引用 22

一句话总结

该论文提出并行方向乘数法（PDMM），一种用于求解具有线性约束的多块凸优化问题的随机块坐标法。PDMM 在随机选择的块上并行更新原始变量和对偶变量，采用固定步长时实现全局收敛和 O(1/T) 的迭代复杂度，优于当前最先进的方法，在鲁棒主成分分析和重叠组lasso应用中表现更优。

ABSTRACT

We consider the problem of minimizing block-separable convex functions subject to linear constraints. While the Alternating Direction Method of Multipliers (ADMM) for two-block linear constraints has been intensively studied both theoretically and empirically, in spite of some preliminary work, effective generalizations of ADMM to multiple blocks is still unclear. In this paper, we propose a randomized block coordinate method named Parallel Direction Method of Multipliers (PDMM) to solve the optimization problems with multi-block linear constraints. PDMM randomly updates some primal and dual blocks in parallel, behaving like parallel randomized block coordinate descent. We establish the global convergence and the iteration complexity for PDMM with constant step size. We also show that PDMM can do randomized block coordinate descent on overlapping blocks. Experimental results show that PDMM performs better than state-of-the-arts methods in two applications, robust principal component analysis and overlapping group lasso.

研究动机与目标

• 为解决凸优化中具有线性约束的多块问题对 ADMM 的有效推广缺乏问题。
• 开发一种可扩展、可并行化的算法，用于大规模多块问题，其中传统块坐标下降法因块重叠而失效。
• 为随机并行更新方案建立全局收敛性和迭代复杂度保证。
• 在鲁棒主成分分析和重叠组lasso等应用中实现高效优化，处理非可分、重叠的块结构。

提出的方法

• PDMM 采用随机块坐标下降方法，在随机选择的块上并行更新原始变量和对偶变量。
• 采用带有惩罚参数 ρ > 0 的增广拉格朗日形式，以确保收敛性和数值稳定性。
• 算法在选定块上交替最小化增广拉格朗日函数，并通过对偶上升法更新对偶变量。
• 通过引入 Bregman 散度项，处理目标函数中不可微的、可分块的凸函数。
• 通过将复合正则化项重新表述为等式约束问题，实现对重叠块的支持。
• 通过李雅普诺夫函数分析建立收敛性，证明在固定步长下具有 O(1/T) 的遍历收敛速率。

实验结果

研究问题

• RQ1 随机并行块坐标法能否在具有线性约束的多块凸优化中实现全局收敛？
• RQ2 PDMM 在应用于重叠或不可分块时，是否仍能保持收敛性和迭代复杂度保证？
• RQ3 在大规模问题中，PDMM 与当前最先进的方法（如 ADMM 和 RBCD）相比，在性能和收敛速度上表现如何？
• RQ4 PDMM 能否有效处理具有重叠组lasso型正则化的复合最小化问题？

主要发现

• PDMM 在固定步长下实现全局收敛，为多块问题建立了理论保证。
• 该算法表现出 O(1/T) 的遍历收敛速率，与两块 ADMM 的已知速率一致。
• PDMM 在鲁棒主成分分析和重叠组lasso中优于当前最先进的方法，展现出更优的实验性能。
• 通过将复合正则化项重新表述为等式约束问题，该方法成功处理了重叠块。
• 收敛性分析基于一种新颖的李雅普诺夫函数，同时考虑了原始变量和对偶变量的更新。
• PDMM 被证明是 PJADMM 的推广，且具有更优的收敛速率保证。