[论文解读] Parallel Coordinate Descent Newton for Large-scale L1-Regularized Minimization.

Yatao Bian, Xiong Li+1 more|arXiv (Cornell University)|Jun 18, 2013

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

该论文提出了一种名为并行坐标降 Newton (PCDN) 的新算法，用于大规模 L1-正则化最小化问题。该算法通过将特征划分为特征包（bundles）并使用多维近似 Newton 步长，实现了高效的并行化。该方法保证全局收敛，且随着并行度提高，收敛速度加快，在基准数据集上的运行速度优于当前最先进方法，同时不损失精度。

ABSTRACT

The recent years have witnessed advances in parallel algorithms for large scale optimization problems. Notwithstanding demonstrated success, existing algorithms that parallelize over features are usually limited by divergence issues under high parallelism or require data preprocessing to alleviate these problems. In this work, we propose a Parallel Coordinate Descent Newton algorithm using multidimensional approximate Newton steps (PCDN), where the off-diagonal elements of the Hessian are set to zero to enable parallelization. It randomly partitions the feature set into $b$ bundles/subsets with size of $P$, and sequentially processes each bundle by first computing the descent directions for each feature in parallel and then conducting $P$-dimensional line search to obtain the step size. We show that: (1) PCDN is guaranteed to converge globally despite increasing parallelism; (2) PCDN converges to the specified accuracy $\epsilon$ within the limited iteration number of $T_\epsilon$, and $T_\epsilon$ decreases with increasing parallelism (bundle size $P$). Using the implementation technique of maintaining intermediate quantities, we minimize the data transfer and synchronization cost of the $P$-dimensional line search. For concreteness, the proposed PCDN algorithm is applied to $\ell_1$-regularized logistic regression and $\ell_2$-loss SVM. Experimental evaluations on six benchmark datasets show that the proposed PCDN algorithm exploits parallelism well and outperforms the state-of-the-art methods in speed without losing accuracy.

研究动机与目标

• 解决现有并行特征级优化算法在高并行度下存在的发散问题和高同步成本问题。
• 在大规模 L1-正则化学习问题（如逻辑回归和 SVM）中实现可扩展且高效的并行化。
• 在优化过程中，即使包大小（并行度）增加，也能保持全局收敛性和快速收敛速率。
• 通过在 P 维线搜索过程中高效维护中间量，最小化数据传输和同步开销。
• 在保持解精度的前提下，实现优于当前最先进方法的运行时性能。

提出的方法

• 该算法将特征集划分为 b 个大小为 P 的包，从而实现每个包内特征的并行处理。
• 对每个包，使用对角 Hessian 近似（将非对角元素设为零）的近似 Newton 步长，以并行计算下降方向。
• 对每个包依次执行 P 维线搜索，以确定最优步长，确保下降性和收敛性。
• 在迭代过程中维护中间量，以减少线搜索阶段的数据传输和同步开销。
• 该方法利用 L1-正则化问题的结构，实现高效的坐标更新和步长计算。
• 该算法被应用于 ℓ1-正则化逻辑回归和 ℓ2-损失 SVM，展示了其广泛适用性。

实验结果

研究问题

• RQ1 对于大规模 L1-正则化最小化问题，所提出的并行坐标降方法是否能在并行度不断提高的情况下保持全局收敛？
• RQ2 使用对角 Hessian 近似的多维近似 Newton 步长是否能提升收敛速度和可扩展性？
• RQ3 通过维护中间量，能否有效降低高维线搜索中的同步和数据传输开销？
• RQ4 随着包大小（P）的增加，该方法的收敛速率如何变化？
• RQ5 PCDN 算法在真实世界数据集上是否在运行时间上优于现有最先进方法，同时保持解的精度？

主要发现

• PCDN 即使在并行度提高时也保证全局收敛，克服了以往并行特征级算法的关键局限。
• 达到精度 ε 所需的迭代次数 Tε 随包大小 P 的增加而减少，表明收敛速度得到提升。
• 在六个基准数据集上，PCDN 的收敛速度更快，运行时间更短，优于当前最先进方法。
• 即使在高并行度下，PCDN 仍保持与基线方法相当的解精度，预测性能无损失。
• 通过维护中间量的实现技术，显著减少了 P 维线搜索过程中的数据传输和同步开销。
• 实验结果表明，PCDN 在所有六个用于评估的基准数据集上均显著优于现有方法，运行速度更快。