[论文解读] On Faster Convergence of Cyclic Block Coordinate Descent-type Methods for Strongly Convex Minimization

Xingguo Li, Tuo Zhao+3 more|arXiv (Cornell University)|Jul 10, 2016

Advanced Optimization Algorithms Research参考文献 37被引用 4

一句话总结

本文针对强凸优化中的循环块坐标下降（CBCD）类方法提出了改进的收敛性分析，表明其迭代复杂度为 O(log²p · log(1/ϵ))，与梯度下降方法相比仅相差 log²p 因子，从而填补了理论上的空白。该分析适用于二次问题，并可推广至非二次情形，且在固定 Hessian 特征值缩放条件下通过下界证明了其紧致性。

ABSTRACT

The cyclic block coordinate descent-type (CBCD-type) methods, which performs iterative updates for a few coordinates (a block) simultaneously throughout the procedure, have shown remarkable computational performance for solving strongly convex minimization problems. Typical applications include many popular statistical machine learning methods such as elastic-net regression, ridge penalized logistic regression, and sparse additive regression. Existing optimization literature has shown that for strongly convex minimization, the CBCD-type methods attain iteration complexity of $\mathcal{O}(p\log(1/ε))$, where $ε$ is a pre-specified accuracy of the objective value, and $p$ is the number of blocks. However, such iteration complexity explicitly depends on $p$, and therefore is at least $p$ times worse than the complexity $\mathcal{O}(\log(1/ε))$ of gradient descent (GD) methods. To bridge this theoretical gap, we propose an improved convergence analysis for the CBCD-type methods. In particular, we first show that for a family of quadratic minimization problems, the iteration complexity $\mathcal{O}(\log^2(p)\cdot\log(1/ε))$ of the CBCD-type methods matches that of the GD methods in term of dependency on $p$, up to a $\log^2 p$ factor. Thus our complexity bounds are sharper than the existing bounds by at least a factor of $p/\log^2(p)$. We also provide a lower bound to confirm that our improved complexity bounds are tight (up to a $\log^2 (p)$ factor), under the assumption that the largest and smallest eigenvalues of the Hessian matrix do not scale with $p$. Finally, we generalize our analysis to other strongly convex minimization problems beyond quadratic ones.

研究动机与目标

• 解决 CBCD 类方法与梯度下降方法在强凸问题迭代复杂度方面的理论差距。
• 克服现有显式依赖于块数 p 的 O(p log(1/ϵ)) 复杂度上界。
• 在 Hessian 特征值满足现实假设的前提下，为 CBCD 类方法建立更紧致的收敛边界。
• 通过在固定极端特征值缩放条件下的下界构造，验证改进复杂度的紧致性。
• 将改进的复杂度边界从二次问题推广至更广泛的强凸优化问题类别。

提出的方法

• 针对二次最小化问题，提出对 CBCD 类方法的精细化收敛性分析。
• 在最大与最小 Hessian 特征值不随 p 缩放的假设下，分析 CBCD 类方法的迭代复杂度。
• 推导出实现 ϵ-精度所需迭代次数的改进上界 O(log²p · log(1/ϵ))。
• 通过构造一个三对角 Toeplitz 矩阵的下界示例，证明改进后的上界在 log²p 因子范围内是紧致的。
• 通过扩展收敛框架，将分析推广至非二次、强凸问题。
• 通过特定初始条件和迭代更新规则，展示最坏情况下的缓慢收敛行为，从而验证下界的有效性。

实验结果

研究问题

• RQ1 CBCD 类方法的迭代复杂度能否被改进至与梯度下降方法相当，仅相差对数因子？
• RQ2 CBCD 类方法的 O(p log(1/ϵ)) 复杂度上界是否紧致，还是可被显著改进？
• RQ3 当 Hessian 特征值相对于 p 固定时，CBCD 收敛性对块数 p 的依赖关系如何？
• RQ4 改进的复杂度边界能否推广至二次问题之外的其他强凸优化问题？
• RQ5 在不同问题条件下，CBCD 类方法的性能与梯度法及随机 BCD 方法相比如何？

主要发现

• CBCD 类方法在二次问题中的迭代复杂度被改进为 O(log²p · log(1/ϵ))，与梯度下降方法相比仅相差 log²p 因子。
• 通过使用三对角 Toeplitz 矩阵构造的下界，证明了改进的复杂度上界在 log²p 因子范围内是紧致的。
• 下界示例表明，一次迭代后的目标函数差距可被下界控制为初始范数差距的常数比例，这意味着一般情况下无法实现与 p 无关的收敛性。
• 分析表明，Hessian 的最大与最小特征值不随 p 缩放，是实现改进复杂度的必要条件。
• 实验结果表明，尽管理论复杂度边界暗示 CBCD 类方法可能表现较差，但其在实际中可优于梯度方法。
• 基于排列的 BCD 方法在条件良好与条件不良的问题中均表现出稳定性能，但本文未为其建立理论复杂度边界。