[论文解读] On the Finite Time Convergence of Cyclic Coordinate Descent Methods

Ankan Saha, Ambuj Tewari|arXiv (Cornell University)|May 12, 2010

Sparse and Compressive Sensing Techniques参考文献 16被引用 26

一句话总结

本文首次建立了在 $\nabla f$-Lipschitz 连续、$\nabla f$-isotonic、$\nabla f$-Lipschitz-smooth 及 $\nabla f$-isotonic 问题上，循环坐标下降（CCD）与循环坐标最小化（CCM）方法的有限时间 $O(1/k)$ 收敛速率。通过在超解假设下将 CCD 和 CCM 迭代点与梯度下降（GD）进行比较，证明了在相同条件下，CCD 和 CCM 在每一步迭代中均保持优于 GD 的目标值，从而继承 GD 的 $O(1/k)$ 收敛速率。

ABSTRACT

Cyclic coordinate descent is a classic optimization method that has witnessed a resurgence of interest in machine learning. Reasons for this include its simplicity, speed and stability, as well as its competitive performance on $\ell_1$ regularized smooth optimization problems. Surprisingly, very little is known about its finite time convergence behavior on these problems. Most existing results either just prove convergence or provide asymptotic rates. We fill this gap in the literature by proving $O(1/k)$ convergence rates (where $k$ is the iteration counter) for two variants of cyclic coordinate descent under an isotonicity assumption. Our analysis proceeds by comparing the objective values attained by the two variants with each other, as well as with the gradient descent algorithm. We show that the iterates generated by the cyclic coordinate descent methods remain better than those of gradient descent uniformly over time.

研究动机与目标

• 为填补循环坐标下降（CCD）方法在有限时间收敛分析中的理论空白，此前即使在光滑问题上也缺乏非渐近收敛速率。
• 在目标函数梯度的光滑性与isotonic性假设下，为 CCD 的两种变体——CCD 与 CCM——建立 $O(1/k)$ 收敛速率。
• 直接比较 CCD 与 CCM 的迭代点与梯度下降（GD）的迭代点，证明 CCD 与 CCM 在每一步迭代中均保持更优的目标值。
• 利用 GD 已知的 $O(1/k)$ 收敛保证，通过比较定理推导出 CCD 与 CCM 在相同假设下也达到相同的收敛速率。
• 识别并分析使有限时间收敛结果成立的关键假设，特别是 $\mathbf{I} - \nabla f/L$ 的超解与isotonic性条件。

提出的方法

• 将优化问题定义为 $\min_{x \in \mathbb{R}^d} F(x) = f(x) + \lambda \|x\|_1$，其中 $f$ 是具有 $L$-Lipschitz 连续梯度的可微函数。
• 引入超解概念：点 $x$ 满足 $x \geq S_{\lambda/L}(x - \nabla f(x)/L)$，以确保邻近算子不会增加目标值。
• 证明：若初始迭代点为超解，则所有后续的 CCD 与 CCM 迭代点均保持为超解，从而维持比较结构。
• 建立比较定理：对于相同的初始超解，有 $F(\text{CCD}_k) \leq F(\text{CCM}_k) \leq F(\text{GD}_k)$ 对所有 $k \geq 1$ 成立，利用 $\mathbf{I} - \nabla f/L$ 的isotonic性。
• 利用已知的梯度下降（定理 2）的 $O(1/k)$ 收敛速率，得出在相同假设下，CCD 与 CCM 同样实现 $O(1/k)$ 收敛速率。
• 使用标量软阈值算子 $S_{\lambda/L}(\cdot)$ 描述邻近更新，并对每个坐标分析三种情形以验证超解性质。

实验结果

研究问题

• RQ1 能否在 $\nabla f$-Lipschitz 连续、光滑、凸且 $\nabla f$-isotonic 的问题上，为循环坐标下降（CCD）建立有限时间 $O(1/k)$ 收敛速率？
• RQ2 CCD 与 CCM 的迭代点在目标值演化方面与梯度下降（GD）相比如何？
• RQ3 在何种初始条件下（如超解）下，CCD 与 CCM 能在整个优化过程中保持优于 GD 的目标值？
• RQ4 $\mathbf{I} - \nabla f/L$ 的isotonic性在实现 CCD 与 CCM 的有限时间收敛保证中起到何种作用？
• RQ5 在相同假设下，能否通过比较定理使 GD 的 $O(1/k)$ 收敛速率被 CCD 与 CCM 继承？

主要发现

• 本文证明，在超解假设与 $\mathbf{I} - \nabla f/L$ 的isotonic性条件下，CCD 与 CCM 均实现 $O(1/k)$ 有限时间收敛速率。
• 对任意 $k \geq 1$，CCM 迭代点的目标值满足 $F(z^{(k)}) \leq F(x^{(k)}) \leq F(x^*) + \frac{L\|x^* - x^{(0)}\|^2}{2k}$，与 GD 的速率一致。
• CCD 与 CCM 迭代点在每一步 $k$ 均保持优于 GD 迭代点的目标值，即对所有 $k \geq 1$ 有 $F(y^{(k)}) \leq F(x^{(k)})$。
• 超解性质在 CCD 与 CCM 的迭代过程中被保持，从而支持了支撑速率推导的比较论证。
• $\mathbf{I} - \nabla f/L$ 的isotonic性假设对比较定理至关重要，且是数值优化中已知但具有限制性的条件。
• 本研究首次为光滑、$\nabla f$-isotonic 问题上的循环坐标下降提供了有限时间收敛保证，填补了文献中的重大理论空白。