[论文解读] Speeding up Deep Learning with Transient Servers

Shijian Li, Robert J. Walls+2 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Neural Network Applications参考文献 38被引用 4

一句话总结

本文提出使用瞬态GPU服务器——一种更便宜、可动态获取且可随时被撤销的云实例——来加速分布式深度学习训练，同时降低训练成本。通过大规模的实证研究，作者展示了与按需服务器相比，训练速度最高提升7.7倍，成本降低62.9%，且对模型准确率影响极小，并识别出分布式训练框架为有效支持瞬态工作负载所需的关键设计改进。

ABSTRACT

Distributed training frameworks, like TensorFlow, have been proposed as a means to reduce the training time of deep learning models by using a cluster of GPU servers. While such speedups are often desirable---e.g., for rapidly evaluating new model designs---they often come with significantly higher monetary costs due to sublinear scalability. In this paper, we investigate the feasibility of using training clusters composed of cheaper transient GPU servers to get the benefits of distributed training without the high costs. We conduct the first large-scale empirical analysis, launching more than a thousand GPU servers of various capacities, aimed at understanding the characteristics of transient GPU servers and their impact on distributed training performance. Our study demonstrates the potential of transient servers with a speedup of 7.7X with more than 62.9% monetary savings for some cluster configurations. We also identify a number of important challenges and opportunities for redesigning distributed training frameworks to be transient-aware. For example, the dynamic cost and availability characteristics of transient servers suggest the need for frameworks to dynamically change cluster configurations to best take advantage of current conditions.

研究动机与目标

• 评估使用瞬态GPU服务器进行分布式深度学习训练的可行性和性能表现。
• 量化使用瞬态服务器与按需服务器在训练速度、成本和模型准确率之间的权衡。
• 识别使分布式训练框架具备瞬态感知能力所需的关键挑战与设计机遇。
• 探索如何在瞬态训练环境中利用动态集群配置、异构资源和波动定价机制。

提出的方法

• 在多种配置下，使用超过1,000台瞬态和按需GPU服务器进行了大规模实证评估。
• 通过瞬态和按需GPU集群，在CIFAR-10数据集上对ResNet-32的训练时间、成本和准确率进行了测量。
• 通过模拟不同撤销率（r = 0, 1, 2）在32个集群中评估服务器撤销的影响。
• 在异步训练下分析性能，以隔离瞬态服务器行为对延迟梯度的影响。
• 比较了不同数量和类型瞬态与按需GPU配置下的训练结果。
• 识别出框架层面的需求，如动态扩展、灵活检查点机制和弹性能力，以提升瞬态服务器的利用率。

实验结果

研究问题

• RQ1 与按需服务器相比，使用瞬态GPU服务器进行分布式深度学习训练在性能和成本方面有何优势？
• RQ2 服务器撤销如何影响分布式训练中的训练时间、成本和模型准确率？
• RQ3 在保持模型质量的前提下，瞬态服务器在多大程度上能够实现更快的训练速度和更低的经济成本？
• RQ4 分布式训练框架需要进行哪些架构层面的改进，才能有效支持瞬态服务器工作负载？
• RQ5 通信延迟和瞬态服务器的地理多样性如何影响训练性能？

主要发现

• 使用四台瞬态K80 GPU相比单台按需K80 GPU，实现了3.72倍的加速和62.9%的成本降低。
• 在所有配置中观察到的最大加速比达到7.7倍，且模型准确率与按需训练保持一致。
• 使用四台瞬态GPU时，模型准确率略有下降（91.23% vs. 93.07%），但这是由异步训练引起的，而非瞬态服务器特性所致。
• 即使在128台瞬态服务器中有13台被撤销（32个集群中11个集群受影响），训练仍成功完成，性能下降可忽略。
• 在有服务器被撤销的情况下，平均准确率有时更高（91.83%），高于无撤销情况（91.06%），表明动态工作节点轮换可能带来潜在优势。
• 当前框架缺乏原生的动态扩展和灵活检查点支持，表明分布式训练系统亟需引入瞬态感知设计。