[论文解读] Worst-case Complexity of Cyclic Coordinate Descent: $O(n^2)$ Gap with Randomized Version

Ruoyu Sun, Yinyu Ye|arXiv (Cornell University)|Apr 25, 2016

Stochastic Gradient Optimization Techniques参考文献 52被引用 18

一句话总结

本文证明，在最小化凸二次函数时，循环坐标下降（C-CD）在最坏情况下可能比随机坐标下降（R-CD）慢至 $Ø(n^2)$ 倍。通过构造一个条件数为 $µ_{ ext{CD}}$ 的特定例子，作者证明 C-CD 至少需要 $Ø(n^4µ_{ ext{CD}} ext{log}rac{1}{epsilon})$ 次操作，而 R-CD 仅需 $Ø(n^2µ_{ ext{CD}} ext{log}rac{1}{epsilon})$ 次操作，从而确认了最坏情况下存在 $Ø(n^2)$ 的差距。

ABSTRACT

This paper concerns the worst-case complexity of cyclic coordinate descent (C-CD) for minimizing a convex quadratic function, which is equivalent to Gauss-Seidel method and can be transformed to Kaczmarz method and projection onto convex sets (POCS). We observe that the known provable complexity of C-CD can be $O(n^2)$ times slower than randomized coordinate descent (R-CD), but no example was rigorously proven to exhibit such a large gap. In this paper we show that the gap indeed exists. We prove that there exists an example for which C-CD takes at least $O(n^4 κ_{ ext{CD}} \log\frac{1}ε)$ operations, where $κ_{ ext{CD}}$ is related to Demmel's condition number and it determines the convergence rate of R-CD. It implies that in the worst case C-CD can indeed be $O(n^2)$ times slower than R-CD, which has complexity $O( n^2 κ_{ ext{CD}} \log\frac{1}ε)$. Note that for this example, the gap exists for any fixed update order, not just a particular order. Based on the example, we establish several almost tight complexity bounds of C-CD for quadratic problems. One difficulty with the analysis is that the spectral radius of a non-symmetric iteration matrix does not necessarily constitute a extit{lower bound} for the convergence rate. An immediate consequence is that for Gauss-Seidel method, Kaczmarz method and POCS, there is also an $O(n^2) $ gap between the cyclic versions and randomized versions (for solving linear systems). We also show that the classical convergence rate of POCS by Smith, Solmon and Wager [1] is always worse and sometimes can be infinitely times worse than our bound.

研究动机与目标

• 通过严格证明最坏情况下的复杂度差距，填补循环坐标下降与随机坐标下降之间的理论空白。
• 证明在凸二次问题中，循环 CD 在最坏情况下可能比随机 CD 慢 $Ø(n^2)$ 倍。
• 分析在最坏条件下，循环 CD、高斯-赛德尔法、Kaczmarz 方法以及 POCS 方法的收敛行为。
• 表明非对称迭代矩阵的谱半径并不总是能界定收敛速率，从而挑战了经典假设。
• 为循环 CD 建立更紧致且更精确的复杂度界，尤其与随机变体进行对比。

提出的方法

• 构造一个以 $c \to 1$ 为参数的凸二次问题族，以模拟最坏情况行为。
• 使用具有结构化非对角线项的矩阵 $A_c$ 来建模 Hessian 矩阵，确保对角线元素相等且特征值受控。
• 分析循环 CD 的迭代矩阵，并利用 $E(L_{\sigma}^{-1})A$ 的谱性质，推导出期望误差范数的界，其中 $L_{\sigma}$ 为下三角因子。
• 通过 $E(L_{\sigma}^{-1})A$ 的最小特征值建立收敛速率界，该值决定了期望误差的衰减速率。
• 通过分析各自期望误差衰减速率，比较 C-CD、R-CD 和随机排列 CD（RPCD）的收敛速率。
• 利用 $c \to 1$ 时的渐近分析，推导出 C-CD 与 R-CD 复杂度之间的最坏情况比值，从而证明 $\u00d8(n^2)$ 的差距。

实验结果

研究问题

• RQ1 在凸二次问题中，循环坐标下降是否可被严格证明在最坏情况下比随机坐标下降慢 $\u00d8(n^2)$ 倍？
• RQ2 循环 CD 的非对称迭代矩阵的谱半径是否总是能提供收敛速率的下界？
• RQ3 是否存在一个具体例子，使得循环 CD 需要 $\u00d8(n^4\kappa_{\text{CD}}\log(1/\epsilon))$ 次操作，从而匹配最坏情况差距？
• RQ4 在最坏情况下，高斯-赛德尔法、Kaczmarz 方法和 POCS 的收敛速率与它们的随机变体相比如何？
• RQ5 由 Smith、Solmon 和 Wager 提出的经典 POCS 收敛界是否严格劣于本文推导出的新界？

主要发现

• 存在一个凸二次问题，使得循环坐标下降为达到 $\epsilon$-精度，至少需要 $\u00d8(n^4\kappa_{\text{CD}}\log\frac{1}{\epsilon})$ 次操作。
• 循环 CD 与随机 CD 之间的最坏情况复杂度差距为 $\u00d8(n^2)$，且该差距对任意固定更新顺序都是紧致且可证明的。
• Smith、Solmon 和 Wager 提出的经典 POCS 收敛界严格劣于本文推导的新界，且可能无限劣于新界。
• 非对称迭代矩阵的谱半径并不一定界定收敛速率，这否定了收敛分析中一个常见的假设。
• 对于同一问题，随机坐标下降方法可实现 $\u00d8(n^2\kappa_{\text{CD}}\log\frac{1}{\epsilon})$ 的复杂度，从而确认了 $\u00d8(n^2)$ 的差距。
• 该分析证实，最坏情况差距不仅存在于 CD 方法中，也存在于等价方法中：高斯-赛德尔法、Kaczmarz 方法和 POCS 方法在循环更新下均遭受相同的 $\u00d8(n^2)$ 慢速。