[论文解读] Parallel Coordinate Descent for L1-Regularized Loss Minimization

Joseph K. Bradley, Aapo Kyrola+2 more|arXiv (Cornell University)|May 26, 2011

Sparse and Compressive Sensing Techniques参考文献 3被引用 216

一句话总结

本文提出Shotgun，一种用于L1-正则化损失最小化的并行坐标下降算法，通过同时更新多个坐标实现线性加速。该文证明了收敛界，预测其在问题相关限制范围内具有线性可扩展性，且在Lasso和稀疏逻辑回归任务上通过实证验证，Shotgun在大规模数据集上优于当前最先进求解器。

ABSTRACT

We propose Shotgun, a parallel coordinate descent algorithm for minimizing L1-regularized losses. Though coordinate descent seems inherently sequential, we prove convergence bounds for Shotgun which predict linear speedups, up to a problem-dependent limit. We present a comprehensive empirical study of Shotgun for Lasso and sparse logistic regression. Our theoretical predictions on the potential for parallelism closely match behavior on real data. Shotgun outperforms other published solvers on a range of large problems, proving to be one of the most scalable algorithms for L1.

研究动机与目标

• 为高维机器学习问题中L1正则化带来的日益增长的可扩展性优化需求提供解决方案。
• 实现坐标下降法的高效并行化，该算法传统上被认为具有内在的顺序性。
• 开发一种理论基础扎实、高度可扩展的L1-正则化问题求解器，适用于Lasso和稀疏逻辑回归等任务。
• 通过实证验证理论预测的加速性能，并与当前最先进求解器进行性能比较。

提出的方法

• 提出Shotgun，一种在多核环境下对特征进行P个坐标同时更新的并行坐标下降算法。
• 通过变换将L1-正则化问题转化为具有非负变量和二阶可微正则项的问题，以利于理论分析。
• 采用收敛性分析，证明在问题相关的最大并行更新数P*以内可实现线性加速。
• 通过原子更新共享残差向量Ax，确保并行更新过程的一致性。
• 基于数据特性（如特征范数和稀疏性）推导出最优并行更新数P*的理论估计。
• 在真实和合成数据集上实现并评估Shotgun，分别采用Lasso和稀疏逻辑回归进行测试。

实验结果

研究问题

• RQ1 传统上被视为顺序执行的坐标下降法，能否在L1-正则化问题中实现有效并行化？
• RQ2 在此设置下，能否为并行坐标下降推导出理论收敛保证和加速预测？
• RQ3 Shotgun在大规模数据集上的性能与SGD、SMIDAS和Shooting等当前最先进求解器相比如何？
• RQ4 尽管迭代加速表现强劲，为何实际运行时间加速仍受硬件层面瓶颈限制？
• RQ5 结合Shotgun和SGD的混合算法是否能在样本数量和特征数量上均实现可扩展性？

主要发现

• Shotgun在迭代次数上几乎实现与并行更新数P的线性加速，与理论预测高度吻合。
• 在rcv1数据集上（d > n），当P=8时，Shotgun的运行时间比SGD快逾4倍，尽管SGD在zeta数据集上（n ≫ d）初始具有优势。
• 理论分析预测了有效并行更新的最大数量P*，该值可直接从数据中计算得出，并与实证行为一致。
• 运行时间加速受限于内存带宽和延迟，而非算法收敛性，原因在于内存与计算比高且缺乏数据局部性。
• Shotgun在35个真实和合成数据集上优于其他已发表的求解器，确立了其作为最可扩展的L1-正则化优化算法之一的地位。
• 迭代次数的自加速接近线性（例如，P=8时约8倍），但实际运行时间加速受限于2倍至4倍，主要受内存墙效应影响。