[论文解读] Pipe-SGD: A Decentralized Pipelined SGD Framework for Distributed Deep Net Training

Youjie Li, Mingchao Yu+4 more|arXiv (Cornell University)|Nov 8, 2018

Advanced Neural Network Applications参考文献 48被引用 18

一句话总结

Pipe-SGD 提出了一种去中心化的流水线式随机梯度下降（SGD）框架，通过在分布式深度学习训练中重叠计算与通信，实现了高达 5.4× 的实际运行时间加速。该框架在配备 10GbE 链接的四节点 GPU 集群上，通过双宽度流水线平衡通信并隐藏延迟，显著提升了训练效率，同时保持了收敛性和准确性。

ABSTRACT

Distributed training of deep nets is an important technique to address some of the present day computing challenges like memory consumption and computational demands. Classical distributed approaches, synchronous or asynchronous, are based on the parameter server architecture, i.e., worker nodes compute gradients which are communicated to the parameter server while updated parameters are returned. Recently, distributed training with AllReduce operations gained popularity as well. While many of those operations seem appealing, little is reported about wall-clock training time improvements. In this paper, we carefully analyze the AllReduce based setup, propose timing models which include network latency, bandwidth, cluster size and compute time, and demonstrate that a pipelined training with a width of two combines the best of both synchronous and asynchronous training. Specifically, for a setup consisting of a four-node GPU cluster we show wall-clock time training improvements of up to 5.4x compared to conventional approaches.

研究动机与目标

• 解决尽管计算能力不断提升，但分布式深度学习训练中因通信瓶颈导致的实际运行时间持续增长的问题。
• 通过设计一种去中心化、流水线化的训练系统，克服集中式参数服务器和基于 AllReduce 框架的局限性，实现对通信与计算延迟的有效隐藏。
• 建立一个考虑网络延迟、带宽、集群规模和计算时间的时序模型，以指导系统设计与可扩展性分析。
• 在不牺牲模型准确性的前提下，通过在去中心化环境中实现高效且均衡的通信与流水线处理，获得显著加速。
• 证明宽度为二的流水线机制在收敛性和效率方面结合了同步与异步训练的最佳特性。

提出的方法

• 设计一种去中心化训练框架，其中每个工作节点独立维护自己的模型，并仅与相邻节点通信梯度，从而消除中心化参数服务器的依赖。
• 实现宽度为二的流水线训练流程，使工作节点能够在处理一个 mini-batch 的同时，传输前一个 mini-batch 的梯度。
• 开发一个时序模型，综合考虑网络延迟、带宽、模型大小和计算时间，以分析实际运行时间的权衡关系。
• 基于现有研究改进收敛性证明，为所提出的流水线化、去中心化设置提供理论收敛性保证。
• 在基于 AllReduce 的通信层中集成高效的压缩技术，以减少带宽占用，同时不降低模型准确率。
• 通过同步各工作节点的通信与计算阶段，确保通信负载均衡，从而最小化空闲时间。

实验结果

研究问题

• RQ1 去中心化、流水线化的 SGD 框架是否能有效隐藏分布式深度学习训练中的通信与计算延迟？
• RQ2 在真实的网络与硬件约束下，流水线化框架的实际运行时间与传统集中式及去中心化方法相比如何？
• RQ3 在去中心化训练系统中，何种流水线宽度能最佳平衡通信开销与收敛稳定性？
• RQ4 在基于 AllReduce 的流水线化框架中，压缩技术能在多大程度上被应用而不影响模型准确率或收敛性？
• RQ5 在训练速度提升与资源利用率方面，该框架在集群规模与模型复杂度增加时的可扩展性如何？

主要发现

• 在配备 10GbE 链接的四节点 GPU 集群上，Pipe-SGD 相较于传统的集中式与去中心化训练方法，实际运行时间最高可加速 5.4×。
• 该框架在多种模型（包括 ResNet-18 和 VGG-16）上均表现出一致的加速效果，根据模型与集群配置不同，加速比在 3.2× 至 5.4× 之间。
• 采用宽度为二的流水线机制能有效隐藏计算或通信中较慢的一方，减少空闲时间，提升资源利用率。
• 所提出的框架在收敛性与准确率方面与标准同步与异步 SGD 相当，实验中未观察到性能下降。
• 时序模型能准确预测性能权衡，验证了设计选择的有效性，并支持系统的有效调优。
• 压缩技术（如量化）可高效集成至 AllReduce 流水线中，且不损害训练稳定性或最终模型准确率。