[论文解读] Robust Block Coordinate Descent

Kimon Fountoulakis, Rachael Tappenden|arXiv (Cornell University)|Jul 28, 2014

Sparse and Compressive Sensing Techniques参考文献 28被引用 6

一句话总结

本文提出鲁棒坐标下降法（RCD），一种随机化块坐标下降方法，通过引入近似部分二阶（曲率）信息，提升病态条件或高度非可分问题的收敛性能。通过构建包含曲率数据的二次模型，并采用带回溯线搜索的不精确子问题求解，RCD 实现了全局收敛性与更快的局部收敛速度，在大规模问题（如 $β$-正则化逻辑回归）上优于一阶方法。

ABSTRACT

In this paper we present a novel randomized block coordinate descent method for the minimization of a convex composite objective function. The method uses (approximate) partial second-order (curvature) information, so that the algorithm performance is more robust when applied to highly nonseparable or ill conditioned problems. We call the method Robust Coordinate Descent (RCD). At each iteration of RCD, a block of coordinates is sampled randomly, a quadratic model is formed about that block and the model is minimized approximately/inexactly to determine the search direction. An inexpensive line search is then employed to ensure a monotonic decrease in the objective function and acceptance of large step sizes. We prove global convergence of the RCD algorithm, and we also present several results on the local convergence of RCD for strongly convex functions. Finally, we present numerical results on large-scale problems to demonstrate the practical performance of the method.

研究动机与目标

• 解决一阶随机坐标下降法在病态条件或高度非可分问题上性能不佳的问题。
• 克服一阶方法在捕捉曲率方面的能力局限，从而在复杂稀疏问题上实现更优进展。
• 开发一种集成近似二阶信息的块坐标下降方法，以增强鲁棒性与收敛速度。
• 通过不精确子问题求解与线搜索，确保全局收敛性，同时保持较低的每次迭代计算成本。
• 在大规模问题（包括 $β$-正则化逻辑回归与压缩感知应用）上展示方法的实际优越性。

提出的方法

• 在每次迭代中，随机采样一组坐标进行更新。
• 针对所选坐标块，利用近似二阶（Hessian）信息构建二次模型。
• 以近似方式求解所得子问题，采用受先前工作启发的终止准则。
• 应用低成本的回溯线搜索，确保目标函数单调下降，并可接受较大的步长。
• 采用块级更新策略，使方法根据块大小与 Hessian 准确度，灵活实现从一阶到二阶行为的过渡。
• 通过线搜索与曲率感知下降方向，将子问题求解的不精确性与全局收敛性保证相结合。

实验结果

研究问题

• RQ1 在块坐标下降中引入近似二阶信息，是否能改善病态条件或非可分问题的收敛性能？
• RQ2 与一阶方法相比，曲率信息的使用如何影响迭代复杂度与整体运行时间？
• RQ3 不精确子问题求解与回溯线搜索对收敛性保证与实际性能有何影响？
• RQ4 该方法能否在保持低每次迭代成本的同时，通过曲率利用实现更快收敛？
• RQ5 在现实世界大规模问题中，RCD 与现有随机坐标下降方法相比，在收敛速度与鲁棒性方面表现如何？

主要发现

• 在标准假设下，RCD 实现了全局收敛性，并表现出期望的二次或超线性局部收敛速度。
• 在 webspam 数据集上，RCD v.2 在一小时内达到更高精度，尽管每次迭代成本更高，但仍优于所有其他方法。
• 在 webspam 与 kdd2010 数据集上，RCD 版本所需的迭代次数均少于 UCDC 变体，其中 RCD v.1 整体速度最快。
• 回溯线搜索在大部分迭代中接受了单位步长，表明曲率信息提供了有效的下降方向。
• RCD v.1（仅使用 Hessian 对角近似）在每次迭代的目标函数下降量上优于 RCD v.2，表明对角曲率已足以带来显著改进。
• 该方法在标准坐标下降法难以应对的困难问题上表现出强鲁棒性，尤其在病态或非可分设置下。