[论文解读] Stochastic Gradient Descent on Highly-Parallel Architectures

Yujing Ma, Florin Rusu+1 more|arXiv (Cornell University)|Feb 24, 2018

Stochastic Gradient Optimization Techniques参考文献 34被引用 7

一句话总结

本文针对广义线性模型，在多核CPU和GPU上对同步与异步随机梯度下降（SGD）进行了全面的性能研究。提出了一种针对GPU优化的异步SGD算法，利用线程束混洗（warp shuffling）和缓存合并（cache coalescing）技术，实验表明在同步模式下GPU性能优于CPU超过400倍；而异步CPU仍是最安全的选择，特定情况下采用数据复制的GPU则表现更优。

ABSTRACT

There is an increased interest in building data analytics frameworks with advanced algebraic capabilities both in industry and academia. Many of these frameworks, e.g., TensorFlow and BIDMach, implement their compute-intensive primitives in two flavors---as multi-thread routines for multi-core CPUs and as highly-parallel kernels executed on GPU. Stochastic gradient descent (SGD) is the most popular optimization method for model training implemented extensively on modern data analytics platforms. While the data-intensive properties of SGD are well-known, there is an intense debate on which of the many SGD variants is better in practice. In this paper, we perform a comprehensive study of parallel SGD for training generalized linear models. We consider the impact of three factors -- computing architecture (multi-core CPU or GPU), synchronous or asynchronous model updates, and data sparsity -- on three measures---hardware efficiency, statistical efficiency, and time to convergence. In the process, we design an optimized asynchronous SGD algorithm for GPU that leverages warp shuffling and cache coalescing for data and model access. We draw several interesting findings from our extensive experiments with logistic regression (LR) and support vector machines (SVM) on five real datasets. For synchronous SGD, GPU always outperforms parallel CPU---they both outperform a sequential CPU solution by more than 400X. For asynchronous SGD, parallel CPU is the safest choice while GPU with data replication is better in certain situations. The choice between synchronous GPU and asynchronous CPU depends on the task and the characteristics of the data. As a reference, our best implementation outperforms TensorFlow and BIDMach consistently. We hope that our insights provide a useful guide for applying parallel SGD to generalized linear models.

研究动机与目标

• 理解计算架构、模型更新策略（同步/异步）以及数据稀疏性对SGD性能的综合影响。
• 解决现有文献中缺乏针对GPU的优化异步SGD内核的问题，尽管Hogwild在CPU上已被广泛使用。
• 基于硬件效率、统计效率和收敛时间，为选择最优SGD配置（计算架构、更新策略、数据处理方式）提供实用指导。
• 将所提出的实现与TensorFlow和BIDMach等工业标准框架进行基准测试，目标是实现一致的性能优势。

提出的方法

• 设计并实现一种针对GPU优化的异步SGD算法，充分利用线程束混洗和缓存合并等架构特性，以实现高效的数据与模型访问。
• 将训练数据在GPU线程间进行划分，并在异步设置中使用原子操作进行模型更新，以最小化同步开销。
• 探索多种数据组织与复制策略，以减少异步GPU执行中的更新冲突并改善负载均衡。
• 在多核CPU（NUMA）和GPU上实现同步与异步SGD变体，对关键操作使用高度优化的线性代数内核以提升性能。
• 使用逻辑回归和支持向量机作为测试模型，在五个真实世界数据集上测量性能表现。
• 以硬件效率（计算资源利用率）、统计效率（收敛速度与解的质量）以及收敛时间作为主要评估指标。

实验结果

研究问题

• RQ1 在多核CPU和GPU上，选择同步或异步模型更新对SGD性能有何影响？
• RQ2 数据稀疏性对不同架构下并行SGD的效率与收敛性有何影响？
• RQ3 针对GPU的优化异步SGD算法是否能在收敛时间上超越现有的同步GPU和异步CPU实现？
• RQ4 在多种真实世界数据集上，同步GPU、异步CPU以及采用数据复制的GPU在性能特征上如何比较？
• RQ5 线程束混洗与缓存合并等架构优化在多大程度上能提升GPU上异步SGD的效率？

主要发现

• 在同步SGD中，GPU相较于串行CPU实现性能提升超过400倍，且在多核CPU上也保持一致的显著优势。
• 在异步SGD中，多核CPU因更新冲突开销极低而成为最可靠、最安全的选择；而采用数据复制的GPU在特定数据稀疏性和模型规模场景下表现更优。
• 同步GPU与异步CPU之间的选择高度依赖于数据特征与任务类型，不存在普遍最优的解决方案。
• 所提出的利用线程束混洗与缓存合并技术的GPU优化异步SGD算法，相较于基线GPU实现取得了显著的性能提升。
• 本研究中表现最佳的实现方案在所有评估数据集和模型上均持续优于TensorFlow与BIDMach。
• 在同步SGD中，GPU的硬件效率最高；而由于更新冲突减少，异步CPU的统计效率通常更高。