[论文解读] SparkNet: Training Deep Networks in Spark

Philipp Moritz, Robert Nishihara+2 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Neural Network Applications参考文献 18被引用 75

一句话总结

SparkNet 通过与 Caffe 集成并采用轻量级、通信高效的随机梯度下降（SGD）并行化方法，实现了在 Apache Spark 中开箱即用的深度神经网络可扩展训练。即使在带宽受限的环境中，它在 ImageNet 等大规模数据集上仍能实现显著加速，且调优极少，可无缝集成到现有数据处理流水线中。

ABSTRACT

Training deep networks is a time-consuming process, with networks for object recognition often requiring multiple days to train. For this reason, leveraging the resources of a cluster to speed up training is an important area of work. However, widely-popular batch-processing computational frameworks like MapReduce and Spark were not designed to support the asynchronous and communication-intensive workloads of existing distributed deep learning systems. We introduce SparkNet, a framework for training deep networks in Spark. Our implementation includes a convenient interface for reading data from Spark RDDs, a Scala interface to the Caffe deep learning framework, and a lightweight multi-dimensional tensor library. Using a simple parallelization scheme for stochastic gradient descent, SparkNet scales well with the cluster size and tolerates very high-latency communication. Furthermore, it is easy to deploy and use with no parameter tuning, and it is compatible with existing Caffe models. We quantify the dependence of the speedup obtained by SparkNet on the number of machines, the communication frequency, and the cluster's communication overhead, and we benchmark our system's performance on the ImageNet dataset.

研究动机与目标

• 在通用批处理框架（如 Spark）中实现深度神经网络的分布式训练，而这些框架本身并非为通信密集型的深度学习工作负载原生优化。
• 通过设计一种通信高效的 SGD 并行化方案，解决集群环境中高延迟通信的挑战。
• 提供用户友好的接口，允许直接在 Spark RDD、SQL 查询或图计算的数据上训练深度神经网络，无需数据移动。
• 确保与现有 Caffe 模型的兼容性，并支持在标准云基础设施（如 EC2）上部署，无需专用硬件。
• 证明简单轻量的方法在真实世界、带宽受限的环境中可实现接近最优的性能。

提出的方法

• SparkNet 使用一种简单的随机梯度下降（SGD）并行化方案，通过减少工作节点与参数服务器之间参数同步的频率和数据量，最大限度降低通信开销。
• 通过 Scala API 原生集成 Apache Spark，以函数式风格暴露从 RDD 加载数据、模型训练和评估的功能。
• 通过 Java Native Access（JNA）和 Protocol Buffers，动态构建并运行深度网络，从而利用 Caffe 的深度学习能力。
• 采用轻量级多维张量库，在 Spark 执行模型中高效管理模型权重和梯度。
• 工作节点与参数服务器之间的通信通过批量参数同步实现，通过减少往返次数，容忍高延迟网络。
• 系统设计为在标准集群（包括 EC2 等云环境）上开箱即用，无需低延迟互连（如 InfiniBand）支持。

实验结果

研究问题

• RQ1 尽管存在设计限制，深度学习训练是否能在通用批处理框架（如 Spark）中实现有效且高效的扩展，尤其是针对通信密集型工作负载？
• RQ2 在带宽受限的环境中，SparkNet 的性能如何随集群规模、通信频率和网络延迟的变化而变化？
• RQ3 与定制化、低层级的深度学习框架相比，简单轻量的 SGD 并行化方案在多大程度上能实现具有竞争力的性能？
• RQ4 SparkNet 是否能无缝将模型训练集成到涉及 SQL、图计算或流数据的现有数据处理流水线中，而无需数据重排或磁盘 I/O？
• RQ5 在真实集群部署中，通信频率与训练速度之间的实际权衡是什么？

主要发现

• SparkNet 即使在使用少量 GPU 的情况下，也能在 ImageNet 基准测试中实现显著加速，证明了其在真实世界数据集上的有效扩展能力。
• 在五节点 EC2 集群上，对几百度兆字节的模型进行参数广播和收集约需 20 秒，单个 mini-batch 计算（以 AlexNet 为例）约需 2 秒。
• 该系统在带宽受限环境中表现良好，无需 InfiniBand 等专用硬件即可容忍高延迟通信。
• 该方法支持端到端的训练流水线，可直接将来自 SQL、图计算或流数据源的数据集成到深度学习工作流中，避免昂贵的 I/O 和数据移动。
• 该实现与现有 Caffe 模型兼容，且仅需极少代码修改，便于快速采用和集成。
• 该框架证明，一种简单、通信优化的 SGD 方案在实践中可实现接近最优的性能，即使与依赖低延迟通信的系统相比也毫不逊色。