[论文解读] On the Efficiency of Random Permutation for ADMM and Coordinate Descent

Ruoyu Sun, Zhi‐Quan Luo+1 more|arXiv (Cornell University)|Mar 22, 2015

Sparse and Compressive Sensing Techniques参考文献 46被引用 14

一句话总结

该论文为随机排列的交替方向乘子法（RP-ADMM）和块坐标下降法（RP-BCD）建立了理论保证，证明了RP-ADMM在求解线性系统时具有期望收敛性，且RP-BCD相比循环BCD实现了O(n)倍的期望收敛速度提升，其更新矩阵的谱半径被限制在(−1/3, 1)范围内，从而为大规模优化中随机排列的实证优越性提供了根本性解释。

ABSTRACT

Random permutation is observed to be powerful for optimization algorithms: for multi-block ADMM (alternating direction method of multipliers), while the classical cyclic version divergence, the randomly permuted version converges in practice; for BCD (block coordinate descent), the randomly permuted version is typically faster than other versions. In this paper, we provide strong theoretical evidence that random permutation has positive effects on ADMM and BCD, by analyzing randomly permuted ADMM (RP-ADMM) for solving linear systems of equations, and randomly permuted BCD (RP-BCD) for solving unconstrained quadratic problems. First, we prove that RP-ADMM converges in expectation for solving systems of linear equations. The key technical result is that the spectrum of the expected update matrix of RP-BCD lies in $(-1/3, 1)$, instead of the typical range $(-1, 1)$. Second, we establish expected convergence rates of RP-ADMM for solving linear sytems and RP-BCD for solving unconstrained quadratic problems. This expected rate of RP-BCD is $O(n)$ times better than the worst-case rate of cyclic BCD, thus establishing a gap of at least $O(n)$ between RP-BCD and cyclic BCD. To analyze RP-BCD, we propose a conjecture of a new matrix AM-GM (algebraic mean-geometric mean) inequality, and prove a weaker version of it.

研究动机与目标

• 通过分析随机排列的ADMM（RP-ADMM），解决循环多块ADMM在求解线性系统时的发散问题。
• 为随机排列在块坐标下降（BCD）和ADMM中的实证成功建立理论基础。
• 量化RP-BCD在无约束二次问题中的期望收敛速率，并与循环BCD进行比较。
• 提出并证明一种新型矩阵AM-GM不等式的弱化版本，以支持RP-BCD的收敛性分析。
• 证明在大规模优化中，随机排列相比循环和独立随机化方案具有可证明的速度提升。

提出的方法

• 通过增广拉格朗日框架分析RP-ADMM，用于求解非奇异方阵线性系统。
• 推导RP-BCD的期望更新矩阵，并证明其谱半径位于(−1/3, 1)范围内，该界显著优于通常的(−1, 1)范围。
• 利用谱分析，建立RP-ADMM在求解线性系统以及RP-BCD在求解二次问题中的期望收敛速率。
• 提出关于新型矩阵AM-GM不等式的猜想，并证明其弱化版本，以界定RP-BCD的收敛速率。
• 采用数学归纳法与特征值分析，推导出期望残差随迭代次数衰减的上界。
• 通过在各类矩阵类型（高斯分布、对数正态分布、均匀分布、循环Hankel矩阵）上的数值实验验证理论结果。

实验结果

研究问题

• RQ1 尽管循环ADMM存在发散问题，随机排列ADMM（RP-ADMM）在求解线性系统时是否具有期望收敛性？
• RQ2 RP-BCD在无约束二次问题中的期望收敛速率是多少？与循环BCD相比有何差异？
• RQ3 RP-BCD的更新矩阵谱半径能否被更紧密地界于(−1, 1)范围之外？这对收敛性有何影响？
• RQ4 是否存在RP-BCD相比循环BCD的可证明速度提升？若存在，其量级大小为何？
• RQ5 能否提出并部分证明一种新型矩阵AM-GM不等式，以支持随机化BCD的收敛性分析？

主要发现

• RP-ADMM在求解非奇异线性系统时具有期望收敛性，为循环ADMM的发散问题提供了理论修正方案。
• RP-BCD的期望更新矩阵谱半径位于(−1/3, 1)范围内，相比标准的(−1, 1)范围有显著收紧。
• RP-BCD的期望收敛速率比循环BCD的最坏情况速率快O(n)倍，确立了可证明的O(n)阶差距。
• 数值实验表明，RP-ADMM的收敛速度优于基本梯度下降法，且在发散情况下通常比循环ADMM快逾10倍。
• 对于高斯分布和对数正态分布矩阵，随着维度增加，循环ADMM会发散，而RP-ADMM始终收敛，并优于梯度下降法。
• BR-ADMM（伯努利随机化ADMM）同样收敛，但通常比RP-ADMM更慢，尽管在受限架构中可能节省采样时间。