[论文解读] PipeMare: Asynchronous Pipeline Parallel DNN Training

Bowen Yang, Jian Zhang+4 more|arXiv (Cornell University)|Oct 9, 2019

Advanced Neural Network Applications参考文献 18被引用 26

一句话总结

PipeMare 提出了一种异步流水线并行训练方法，消除了同步流水线并行中常见的硬件低效问题——如流水线气泡和内存膨胀——同时保持了模型精度。通过使用学习率重调度启发式方法和偏差校正，PipeMare 在 ResNet 和 Transformer 架构上实现了与最先进的同步方法（如 GPipe 和 PipeDream）相当的模型质量，同时将流水线利用率提高至 4.3 倍，或将内存使用量降低至 2.7 倍。

ABSTRACT

Pipeline parallelism (PP) when training neural networks enables larger models to be partitioned spatially, leading to both lower network communication and overall higher hardware utilization. Unfortunately, to preserve the statistical efficiency of sequential training, existing PP techniques sacrifice hardware efficiency by decreasing pipeline utilization or incurring extra memory costs. In this paper, we investigate to what extent these sacrifices are necessary. We devise PipeMare, a simple yet robust training method that tolerates asynchronous updates during PP execution without sacrificing utilization or memory, which allows efficient use of fine-grained pipeline parallelism. Concretely, when tested on ResNet and Transformer networks, asynchrony enables PipeMare to use up to $2.7 imes$ less memory or get $4.3 imes$ higher pipeline utilization, with similar model quality, when compared to state-of-the-art synchronous PP training techniques.

研究动机与目标

• 探究在流水线并行深度神经网络训练中，同步执行是否真正必要以维持统计效率。
• 消除同步流水线并行中常见的硬件低效问题——如流水线气泡和权重副本的额外内存开销。
• 通过容忍异步性而不损失模型质量，在现代硬件加速器上实现高效、细粒度的流水线并行。
• 开发一种鲁棒的训练方法，在保持高硬件利用率和低内存占用的同时，实现具有竞争力的模型精度。

提出的方法

• 提出一种异步流水线并行训练模型，避免同步执行，从而消除流水线气泡并减少内存开销。
• 采用基于梯度延迟动态调整学习率的学习率重调度启发式方法，以在异步环境下稳定训练。
• 应用偏差校正技术，以减少异步更新引入的统计误差，提升模型精度。
• 使用固定阶段数的微批次技术，实现高效流水线执行，同时保持梯度一致性。
• 将学习率重调度与偏差校正技术相结合，与激活重计算正交化，进一步降低内存占用。
• 通过截断指数分布对各阶段特定的梯度延迟进行建模，以模拟真实的异步训练条件。

实验结果

研究问题

• RQ1 异步流水线并行能否在不损失模型精度的前提下，实现高硬件利用率和低内存使用？
• RQ2 在流水线并行训练中，同步执行是否真正必要以维持统计效率？
• RQ3 在异步流水线设置中，学习率重调度能否稳定固定梯度延迟下的训练？
• RQ4 偏差校正在异步流水线训练中如何提升模型精度？
• RQ5 所提出的启发式方法能否推广至其他异步训练设置，如 Hogwild! 风格的随机异步训练？

主要发现

• 在 ResNet 和 Transformer 模型上，与 GPipe 和 PipeDream 等同步方法相比，PipeMare 的流水线利用率最高提升 4.3 倍。
• 与最先进的同步流水线并行技术相比，PipeMare 将内存使用量最多降低 2.7 倍，且未损失模型质量。
• 在应用偏差校正后，PipeMare 在异步训练下于 CIFAR10（94.80% 测试精度）和 IWSLT14（33.8 BLEU 分数）上均实现了优异的模型精度。
• 学习率重调度启发式方法在 Hogwild! 风格的随机异步训练中提升了测试性能，使 ResNet 和 Transformer 模型的精度达到与同步训练相当的水平。
• PipeMare 可与激活重计算技术正交结合，进一步降低激活内存占用，且不损害精度。
• 该方法实现了现代硬件加速器上细粒度流水线并行的高效使用，克服了以往同步执行带来的限制。