[论文解读] Theano-MPI: a Theano-based Distributed Training Framework

He Ma, Fei Mao+1 more|arXiv (Cornell University)|May 26, 2016

Advanced Neural Network Applications参考文献 15被引用 5

一句话总结

Theano-MPI 是一个可扩展的开源分布式训练框架，通过 CUDA-aware MPI 实现基于数据并行的多节点、多 GPU 深度学习模型训练。它通过 GPU 到 GPU 的数据传输、半精度传输和优化的参数同步，减少了通信开销，在 8 块 GPU 上使 AlexNet 的数据吞吐量速度提升了最高达 6.7 倍，同时保持了模型收敛性。

ABSTRACT

We develop a scalable and extendable training framework that can utilize GPUs across nodes in a cluster and accelerate the training of deep learning models based on data parallelism. Both synchronous and asynchronous training are implemented in our framework, where parameter exchange among GPUs is based on CUDA-aware MPI. In this report, we analyze the convergence and capability of the framework to reduce training time when scaling the synchronous training of AlexNet and GoogLeNet from 2 GPUs to 8 GPUs. In addition, we explore novel ways to reduce the communication overhead caused by exchanging parameters. Finally, we release the framework as open-source for further research on distributed deep learning

研究动机与目标

• 通过 Theano 实现跨多节点、多 GPU 集群的可扩展分布式深度学习模型训练。
• 通过利用 CUDA-aware MPI 和 GPUDirect P2P 实现 GPU 到 GPU 的直接传输，减少分布式训练中的通信开销。
• 支持同步和异步训练，实现高效的参数交换并改善收敛行为。
• 提供高性能、可扩展的框架，在加速训练的同时保持模型精度。
• 将框架开源发布，以支持分布式深度学习领域的进一步研究。

提出的方法

• 该框架使用 CUDA-aware MPI 实现 GPU 到 GPU 的直接数据传输，无需主机内存参与，从而最小化通信延迟。
• 通过在每个 GPU 上运行多个 Theano 进程实现数据并行，各节点间通过 MPI 进行参数平均。
• 将数据传输和求和操作分离，以实现 GPU 上通信与计算的重叠。
• 支持同步和异步训练，其中异步模式采用类似 EASGD 的策略，并可配置平均频率 τ 和移动率 α。
• 采用半精度（FP16）数据传输以减少带宽使用并加速通信。
• 使用 mpi4py 实现 Python 层的 MPI 访问，并与 Theano 0.8、cuDNN v4 和 CUDA 7.0 集成，以实现 GPU 加速计算。

实验结果

研究问题

• RQ1 在跨多个 GPU 和节点扩展时，如何最小化分布式深度学习中的通信开销？
• RQ2 在多 GPU 环境下，使用 CUDA-aware MPI 和 GPUDirect P2P 对训练加速和收敛性有何影响？
• RQ3 在基于 Theano 的分布式训练中，选择同步或异步训练如何影响收敛性和性能？
• RQ4 半精度通信是否能在不降低模型精度的前提下减少通信时间？
• RQ5 在异步分布式训练中，哪些超参数设置（如 τ、α）能优化收敛性和加速效果？

主要发现

• 在 8 块 GPU 上训练 AlexNet 时，该框架实现了 6.7 倍的数据吞吐量速度提升，49 个全局周期后 Top-5 错误率为 21.12%。
• 在异步训练中，与 Platoon 相比，使用 τ=1 和 α=0.5 时，8 块 GPU 上的通信开销减少了 42%。
• 使用 CUDA-aware MPI 和 GPU 到 GPU 的直接传输显著降低了通信延迟，尤其是在多节点环境中。
• 通过分离数据传输和求和操作，实现了通信与计算的更好重叠，提升了整体效率。
• 在超参数合理调优的情况下，即使扩展到 8 块 GPU，该框架仍保持了与单 GPU 训练相当的模型收敛性。
• 性能受限于铜质集群的 QPI 拓扑结构，表明当 GPUDirect P2P 未被充分利用时，节点内通信瓶颈依然存在。