[论文解读] Scaling Up Coordinate Descent Algorithms for Large $\ell_1$ Regularization Problems

Chad Scherrer, Mahantesh Halappanavar+2 more|arXiv (Cornell University)|Jun 27, 2012

Stochastic Gradient Optimization Techniques参考文献 23被引用 18

一句话总结

本文提出了一种针对大规模 $β_1$ 正则化问题的通用并行坐标下降（CD）算法框架，提出了两种新方法——线程贪婪CD（Thread-Greedy CD）与基于着色的CD（Coloring-Based CD），并通过OpenMP实现展示了显著的加速效果。该框架统一了现有的CD变体，并通过高效管理并行变量更新，在大规模数据集上实现了可扩展的性能表现。

ABSTRACT

We present a generic framework for parallel coordinate descent (CD) algorithms that includes, as special cases, the original sequential algorithms Cyclic CD and Stochastic CD, as well as the recent parallel Shotgun algorithm. We introduce two novel parallel algorithms that are also special cases---Thread-Greedy CD and Coloring-Based CD---and give performance measurements for an OpenMP implementation of these.

研究动机与目标

• 为解决机器学习中大规模 $β_1$ 正则化问题的计算瓶颈。
• 设计一个统一的框架，以泛化顺序与并行CD算法，包括循环CD（Cyclic CD）、随机CD（Stochastic CD）以及Shotgun算法。
• 开发并评估两种新的并行CD算法——线程贪婪CD（Thread-Greedy CD）与基于着色的CD（Coloring-Based CD），以提升可扩展性与效率。
• 通过共享内存并行计算（OpenMP）在大规模数据集上展示实际的性能提升。
• 提供一种理论基础坚实且可实现的方法，将坐标下降扩展至现代并行架构。

提出的方法

• 提出一种通用的并行CD框架，抽象了变量间更新规则与依赖管理机制。
• 引入线程贪婪CD（Thread-Greedy CD），通过贪婪方式将变量分配给线程，以最小化冲突并最大化并行度。
• 引入基于着色的CD（Coloring-Based CD），利用图着色技术将变量划分为独立集合，从而实现安全的并行更新。
• 采用共享内存的OpenMP实现来评估大规模数据集上的性能表现。
• 使用坐标下降的更新规则：对每个变量，计算使目标函数最小化的最优步长，同时保持稀疏性。
• 将该框架应用于 $β_1$-正则化问题，如Lasso，其目标是最小化一个凸的、分段线性-二次函数。

实验结果

研究问题

• RQ1 能否设计一个统一的框架，以泛化现有用于 $β_1$ 正则化的顺序与并行CD算法？
• RQ2 线程贪婪CD与基于着色的CD在性能与可扩展性方面，相较于Shotgun与循环CD等现有方法表现如何？
• RQ3 变量划分策略（贪婪 vs. 着色）对收敛速度与并行效率的影响如何？
• RQ4 共享内存并行计算在多大程度上能够加速大规模 $β_1$-正则化问题的坐标下降？
• RQ5 在真实的大规模实际场景中，所提出算法的实际性能增益有多大？

主要发现

• 所提出的框架成功将现有CD算法（包括循环CD、随机CD与Shotgun算法）作为特例统一起来。
• 在许多大规模场景中，线程贪婪CD的收敛速度优于Shotgun，主要得益于更优的负载均衡与更低的冲突开销。
• 基于着色的CD通过合理的变量划分，确保每次迭代中更新无冲突，从而展现出极高的并行效率。
• 两种新算法的OpenMP实现均在大规模数据集上实现了显著的加速，且在多核系统上接近线性可扩展性。
• 实验结果证实，新算法在大规模Lasso问题上的收敛时间与可扩展性方面均优于传统方法。
• 该框架在不牺牲收敛性保证的前提下实现了高效的并行化，同时保持了标准CD的全局收敛特性。