[论文解读] VirtualFlow: Decoupling Deep Learning Models from the Underlying Hardware

Andrew Or, Haoyu Zhang+1 more|arXiv (Cornell University)|Sep 20, 2020

Advanced Neural Network Applications参考文献 51被引用 4

一句话总结

VirtualFlow 通过引入虚拟节点处理机制，将深度学习模型与硬件解耦，将小批量数据拆分到映射到物理加速器的虚拟节点上，实现了跨异构硬件的一致性训练、资源弹性扩展以及无需超参数调优的异构训练。该方法仅对现有框架进行极少修改，即可实现最高 48% 的作业完成速度提升和 42% 的吞吐量增长。

ABSTRACT

State-of-the-art deep learning systems such as TensorFlow and PyTorch tightly couple the model with the underlying hardware. This coupling requires the user to modify application logic in order to run the same job across a different set of resources, thereby limiting the choice of hardware for a given workload and potentially forcing the user to forgo more efficient hardware configurations. We propose VirtualFlow, a system leveraging a novel abstraction called virtual node processing to decouple the model from the hardware. In each step of training or inference, the batch of input data is split across virtual nodes instead of hardware accelerators (e.g. GPUs and TPUs). Mapping multiple virtual nodes to each accelerator and processing them sequentially effectively time slices the batch, thereby allowing users to reduce the memory requirement of their workloads and mimic large batch sizes on small clusters. Using this technique, VirtualFlow enables many new use cases, such as reproducing training results across different hardware, resource elasticity, and heterogeneous training. In our evaluation, our implementation of VirtualFlow for TensorFlow achieved strong convergence guarantees across different hardware with out-of-the-box hyperparameters, up to 48% lower job completion times with resource elasticity, and up to 42% higher throughput with heterogeneous training.

研究动机与目标

• 解决 TensorFlow 和 PyTorch 等框架中深度学习模型与硬件之间的强耦合问题，该问题迫使用户在不同硬件上重新调整超参数。
• 在不修改模型规格或超参数的前提下，实现在异构且动态变化的硬件配置下的模型收敛一致性。
• 通过允许批量处理在加速器之间进行时间切片，支持资源弹性扩展和异构训练，降低内存压力，并实现对混合 GPU 类型的高效利用。
• 克服现有系统在资源调整时需重启作业且无法处理混合加速器类型的技术限制。
• 通过允许用户在小型集群上使用与大型集群相同的超参数训练模型，促进可复现性与实验效率。

提出的方法

• 引入虚拟节点作为新抽象，将模型执行与物理硬件解耦，其中每个批量被拆分为大小相等的虚拟节点。
• 将多个虚拟节点映射到同一物理加速器上，并按顺序执行，从而实现对批量的时间切片，降低内存使用量，并模拟更大的批量大小。
• 在 TensorFlow 中以最小改动集成虚拟节点处理机制，保持模型图结构和超参数在不同硬件配置下的兼容性。
• 通过在训练过程中动态调整每个加速器上的虚拟节点数量，实现资源弹性扩展，且无需中断训练。
• 通过在同一作业中将虚拟节点映射到不同类型的加速器（如 V100、TPU），支持异构训练，充分利用未被充分利用的硬件资源。
• 将虚拟节点与模型并行结合，减少大规模模型训练的资源需求，将数据并行流水线展开为顺序执行步骤。

实验结果

研究问题

• RQ1 是否可以在不重新调整超参数的前提下，实现跨多样化硬件配置的深度学习模型一致收敛？
• RQ2 是否可以在不中断训练或改变批量大小的前提下，实现深度学习训练中的资源弹性扩展？
• RQ3 是否可以有效利用异构 GPU 集群进行单个训练作业，而无需硬件同质化？
• RQ4 虚拟节点处理是否能降低内存压力，并实现在小规模集群上的大批次训练？
• RQ5 虚拟节点是否能以最小改动集成到现有深度学习框架中，同时保持训练稳定性？

主要发现

• VirtualFlow 在使用默认超参数的情况下，实现了在不同硬件配置下的强收敛保证，确保了无论底层硬件如何，训练结果均保持一致。
• 通过资源弹性扩展，VirtualFlow 在不中断训练的前提下，通过动态调整虚拟节点分配，将作业完成时间最多缩短 48%。
• 在异构训练场景中，VirtualFlow 通过高效利用同一作业内的混合 GPU 类型，将吞吐量最高提升 42%。
• 该系统实现了在不同规模和硬件类型的集群之间可复现的训练，消除了对超参数重新调整的需求。
• VirtualFlow 通过在虚拟节点之间时间切片批量数据，降低了内存压力，使在小规模集群上实现大批次训练成为可能。
• 虚拟节点与模型并行的结合使评估工作负载的资源需求减少一半，从而更高效地扩展大规模模型。