[论文解读] SCOPE: Scalable Composite Optimization for Learning on Spark

Shen-Yi Zhao, Ru Xiang+3 more|arXiv (Cornell University)|Jan 30, 2016

Stochastic Gradient Optimization Techniques参考文献 31被引用 5

一句话总结

本文提出SCOPE，一种用于Apache Spark上分布式机器学习的可扩展复合优化方法，通过方差缩减和高效同步实现线性收敛。在真实数据集上，其在速度和可扩展性方面均优于最先进方法，展现出卓越的效率和超线性加速性能。

ABSTRACT

Many machine learning models, such as logistic regression~(LR) and support vector machine~(SVM), can be formulated as composite optimization problems. Recently, many distributed stochastic optimization~(DSO) methods have been proposed to solve the large-scale composite optimization problems, which have shown better performance than traditional batch methods. However, most of these DSO methods are not scalable enough. In this paper, we propose a novel DSO method, called \underline{s}calable \underline{c}omposite \underline{op}timization for l\underline{e}arning~({SCOPE}), and implement it on the fault-tolerant distributed platform \mbox{Spark}. SCOPE is both computation-efficient and communication-efficient. Theoretical analysis shows that SCOPE is convergent with linear convergence rate when the objective function is convex. Furthermore, empirical results on real datasets show that SCOPE can outperform other state-of-the-art distributed learning methods on Spark, including both batch learning methods and DSO methods.

研究动机与目标

• 解决现有基于Spark的大规模机器学习分布式随机优化（DSO）方法在可扩展性方面的局限性。
• 设计一种在主从式、容错Spark环境中兼具计算高效与通信高效的优化方法。
• 在分布式环境下实现强凸复合优化问题的线性收敛。
• 在真实数据集上，实现比现有批量方法和DSO方法更快的收敛速度和更强的可扩展性。

提出的方法

• SCOPE采用主从架构，参数向量存储在主节点，数据按分区存储在工作节点上。
• 其基于SVRG的方差缩减随机优化框架，通过降低梯度方差实现线性收敛。
• 通过Spark的类似MapReduce的批量同步并行（BSP）模型执行同步更新，最大限度减少通信开销。
• 每个工作节点在其数据分区上计算本地梯度，并将结果发送至主节点，主节点聚合更新并同步全局参数。
• 通过减少通信频率并充分利用本地计算，设计上最小化同步成本。
• 使用Spark 1.5.2实现，采用Scala编程语言，支持复合优化问题的原始和对偶形式。

实验结果

研究问题

• RQ1 在基于Spark的环境中，分布式优化方法能否在复合优化问题上实现线性收敛？
• RQ2 在真实数据集上，SCOPE相较于现有批量方法和DSO方法，在收敛速度和可扩展性方面表现如何？
• RQ3 在多机Spark集群中，SCOPE的通信与计算效率如何？
• RQ4 由于通信减少和缓存利用改善，SCOPE是否实现了超线性加速？
• RQ5 SCOPE在性能上与CoCoA+、Splash以及MLlib的分布式L-BFGS等最先进方法相比如何？

主要发现

• SCOPE在理论上证明并经实证验证，对强凸问题实现了线性收敛。
• 在全部四个真实数据集上，SCOPE均在五次以内外循环更新内完成收敛，显著优于其他方法。
• 在MNIST-8M数据集上，SCOPE展现出超线性加速，32台机器的训练速度超过线性扩展预期。
• 该方法收敛稳定，无振荡现象，与Splash形成对比，证实了其方差缩减特性。
• SCOPE在收敛速度和可扩展性方面均优于最先进基线方法，包括CoCoA+、CoCoA、Splash、MLlib的L-BFGS和LibLinear。