[论文解读] Pipelined Backpropagation at Scale: Training Large Models without Batches

Atli Kosson, Vitaliy Chiley+3 more|arXiv (Cornell University)|Mar 25, 2020

Advanced Neural Network Applications参考文献 53被引用 9

一句话总结

本文提出一种针对大规模深度学习模型的细粒度、异步流水线反向传播训练方法，采用单批次大小（batch size one），引入Spike Compensation与Linear Weight Prediction以缓解梯度延迟与权重不一致问题。该方法在CIFAR-10与ImageNet上使用ResNets和VGGs时，实现了与标准SGD相当的精度，同时在无需批次并行化开销的情况下实现了高效的硬件利用率。

ABSTRACT

New hardware can substantially increase the speed and efficiency of deep neural network training. To guide the development of future hardware architectures, it is pertinent to explore the hardware and machine learning properties of alternative training algorithms. In this work we evaluate the use of small batch, fine-grained Pipelined Backpropagation, an asynchronous pipeline parallel training algorithm that has significant hardware advantages. We introduce two methods, Spike Compensation and Linear Weight Prediction, that effectively mitigate the downsides caused by the asynchronicity of Pipelined Backpropagation and outperform existing techniques in our setting. We show that appropriate normalization and small batch sizes can also aid training. With our methods, fine-grained Pipelined Backpropagation using a batch size of one can match the accuracy of SGD for multiple networks trained on CIFAR-10 and ImageNet. Simple scaling rules allow the use of existing hyperparameters for traditional training without additional tuning.

研究动机与目标

• 探索能更好适配新兴硬件架构的替代性训练算法，这些架构更倾向于低延迟、细粒度并行，而非传统的批次并行。
• 解决在小批次或单批次大小下训练时，由于权重不一致与梯度延迟导致的流水线反向传播不稳定问题。
• 通过消除流水线并行化中的填充与排空开销，实现在训练大规模模型时的高硬件效率与可扩展性。
• 开发稳定训练的方法，且无需大量超参数调优，仅依赖简单的缩放规则。

提出的方法

• 引入Spike Compensation以校正因异步流水线训练中权重更新延迟导致的突发性大梯度脉冲。
• 提出Linear Weight Prediction（LWP）方法，基于近期梯度与动量预测未来权重值，从而减轻梯度延迟的影响。
• 采用微批次大小为一，以最小化权重不一致与梯度延迟，实现大规模下的稳定训练。
• 使用归一化技术如Group Normalization或Online Normalization替代Batch Normalization，因为后者在单批次大小下无效。
• 采用简单的缩放规则，以保持每有效批次大小的更新幅度一致，从而可直接复用标准超参数。
• 通过多种模型（ResNet、VGG）与数据集（CIFAR-10、ImageNet）验证框架，与标准SGD及PyTorch实现进行对比。

实验结果

研究问题

• RQ1 在单批次大小下，流水线反向传播能否实现与标准SGD相当的训练稳定性和精度？
• RQ2 在细粒度流水线设置中，梯度延迟与权重不一致如何影响训练？能否被有效缓解？
• RQ3 Spike Compensation与Linear Weight Prediction是否能在无需大量超参数调优的情况下稳定训练？
• RQ4 在低批次设置下，Group Normalization或Online Normalization相较于Batch Normalization表现如何？
• RQ5 简单的缩放规则是否能将标准SGD的超参数直接迁移至流水线训练中，而无需重新调优？

主要发现

• 采用单批次大小与所提方法的细粒度流水线反向传播，在CIFAR-10上ResNet-20与ResNet-56的测试精度与标准SGD相差不超过0.5%。
• 在ImageNet上，该方法在ResNet-56上达到92.48%的top-1精度，与标准SGD性能相当。
• Spike Compensation与Linear Weight Prediction显著降低了由异步权重更新与梯度延迟引起的训练不稳定性。
• Spike Compensation与LWP${}^{ ext{v}}_{ ext{D}}$的组合优于LWP${}^{ ext{w}}_{ ext{D}}$，尤其在小批次条件下表现更优。
• Group Normalization与Online Normalization等归一化技术在低批次训练中可有效替代Batch Normalization，维持收敛稳定性。
• 简单的缩放规则使得标准SGD超参数可直接复用于流水线训练而无需重新调优，支持即插即用的硬件部署。