[论文解读] Single Server Multi-GPU Training of ConvNets

Omry Yadan, Keith Adams+2 more|arXiv (Cornell University)|Dec 20, 2013

Advanced Neural Network Applications参考文献 6被引用 1

一句话总结

本文提出了一种单服务器、多GPU训练卷积神经网络（ConvNets）的框架，利用数据并行性实现跨GPU的参数平均和梯度同步。该框架在单台机器上配备多块GPU时，实现了高训练效率和可扩展性，通信开销极低，且展现出接近线性的加速效果。

ABSTRACT

In this work we evaluate different approaches to parallelize computation of convolutional neural networks across several GPUs.

研究动机与目标

• 研究在单台服务器上高效进行ConvNets多GPU训练，以缩短训练时间。
• 通过优化参数同步，解决分布式训练中的通信瓶颈问题。
• 评估在共享内存环境下，多种GPU上ConvNets的不同并行化策略。
• 在单服务器架构中实现高训练吞吐量和可扩展性，且开销最小化。

提出的方法

• 使用数据并行性将小批量数据分布在单台服务器的多块GPU上。
• 在每次前向传播和反向传播后，采用同步随机梯度下降并进行GPU间的参数平均。
• 通过仅在每个训练迭代结束时同步梯度和模型参数，最小化通信开销。
• 在同台机器内使用共享参数服务器来协调各GPU之间的模型更新。
• 实现高效的内存管理，以减少训练过程中GPU内存争用。
• 采用单节点多GPU架构，避免节点间通信延迟。

实验结果

研究问题

• RQ1 在单台服务器上进行多GPU训练如何影响ConvNets的训练速度和可扩展性？
• RQ2 梯度同步频率对训练收敛性和效率有何影响？
• RQ3 通信开销如何影响多GPU ConvNet训练的性能？
• RQ4 在单台服务器上使用多块GPU时，数据并行性能否实现近乎线性的加速？
• RQ5 在多GPU训练中，模型大小、批量大小与GPU利用率之间的实际权衡是什么？

主要发现

• 所提出的方法在单台服务器上随着GPU数量增加，实现了近乎线性的加速。
• 训练吞吐量随GPU数量高效扩展，表现出计算资源的高利用率。
• 由于同步频率较低，通信开销保持在极低水平，从而实现了高效的多GPU运行。
• 尽管采用分布式计算，该框架仍保持了与单GPU训练相当的模型精度。
• 该方法支持大规模ConvNet训练，且在多块GPU上性能退化极小。