[论文解读] On the Expected Convergence of Randomly Permuted ADMM

Ruoyu Sun, Zhi‐Quan Luo+1 more|arXiv (Cornell University)|Mar 22, 2015

Sparse and Compressive Sensing Techniques参考文献 37被引用 33

一句话总结

该论文证明，在交替方向乘子法（ADMM）中对块更新顺序进行随机排列，可确保求解方阵线性方程组时在期望意义下的收敛性——尽管标准的多块ADMM在该问题上无法收敛。关键贡献在于揭示了循环更新规则与随机排列更新规则之间的根本差异，后者在随机化下可保证收敛。

ABSTRACT

The alternating direction method of multipliers (ADMM) is now widely used in many fields, and its convergence was proved when two blocks of variables are alternately updated. It is computationally beneficial to extend the ADMM directly to the case of a multi-block convex minimization problem. Unfortunately, such an extension fails to converge even when solving a simple square system of linear equations. In this paper, however, we prove that, if in each step one randomly and independently permutes the updating order of any given number of blocks followed by the regular multiplier update, the method will converge in expectation for solving the square system of linear equations. Our result indicates that for ADMM the cyclic update rule and the random permutation update rule are fundamentally different. To the best of our knowledge, this is the first example that such a difference is rigorously established for a specific optimization algorithm, although the random permutation rule has been reported to be experimentally better than the cyclic rule in many large-scale optimization problems. Our analysis technique of random permutation might be useful in other contexts.

研究动机与目标

• 解决在求解线性系统时多块ADMM缺乏收敛保证的问题。
• 研究块更新的随机排列是否能恢复在循环更新失败时的收敛性。
• 正式建立ADMM中循环与随机排列更新规则之间的理论差异。
• 为随机排列在优化算法中的应用提供一种新分析框架。

提出的方法

• 该方法在每次迭代中对块更新顺序采用随机排列，同时保持标准ADMM对偶上升更新。
• 利用随机逼近和矩阵分析技术分析其期望收敛行为。
• 以方阵线性方程组作为多块ADMM失效的典型测试案例。
• 通过界定迭代过程中最优性间隙的期望减小量，证明了在期望意义下的收敛性。
• 利用各次迭代间排列的独立性，推导出类似鞅的性质。
• 理论结果基于随机排列的性质以及对称正定矩阵的特性推导得出。

实验结果

研究问题

• RQ1 对块更新进行随机排列是否能恢复多块ADMM在求解线性系统时的收敛性？
• RQ2 随机排列ADMM的收敛行为与循环ADMM有何不同？
• RQ3 能否为随机排列ADMM建立在期望意义下的收敛性理论保证？
• RQ4 更新规则的何种结构性质使得其在随机化下能够实现收敛？

主要发现

• 对块更新顺序进行随机排列，可确保多块ADMM在方阵线性方程组上实现期望意义下的收敛。
• 该方法即使在标准多块ADMM采用循环更新时无法收敛的同一问题上，仍能实现收敛。
• 该结果建立了ADMM中循环与随机排列更新规则之间的根本理论差异。
• 该分析为研究一阶优化方法中随机化更新方案提供了新框架。
• 研究结果解释了随机排列在大规模优化中经验成功的内在原因，为其应用提供了理论依据。