[论文解读] Sparse Communication for Training Deep Networks

Negar Foroutan Eghlidi, Martin Jaggi|arXiv (Cornell University)|Sep 19, 2020

Stochastic Gradient Optimization Techniques参考文献 29被引用 15

一句话总结

本文提出随机块稀疏化（random-block sparsification），一种用于分布式深度学习的简单而高效的梯度压缩技术，可在保持训练精度接近标准SGD的同时减少通信开销。通过在每轮迭代中选择随机梯度块进行传输并结合误差反馈机制，该方法在多GPU设置下实现了比标准SGD更快的训练速度，尤其在使用AllReduce通信时表现更优。

ABSTRACT

Synchronous stochastic gradient descent (SGD) is the most common method used for distributed training of deep learning models. In this algorithm, each worker shares its local gradients with others and updates the parameters using the average gradients of all workers. Although distributed training reduces the computation time, the communication overhead associated with the gradient exchange forms a scalability bottleneck for the algorithm. There are many compression techniques proposed to reduce the number of gradients that needs to be communicated. However, compressing the gradients introduces yet another overhead to the problem. In this work, we study several compression schemes and identify how three key parameters affect the performance. We also provide a set of insights on how to increase performance and introduce a simple sparsification scheme, random-block sparsification, that reduces communication while keeping the performance close to standard SGD.

研究动机与目标

• 解决分布式同步SGD中的通信瓶颈，特别是在大规模训练或边缘设备训练场景中。
• 探究影响梯度稀疏化性能的实际因素，如稀疏化范围、方案类型以及通信聚合方式。
• 设计一种简单高效的稀疏化方案，以降低通信成本而不牺牲模型精度。
• 为在真实分布式训练系统中部署稀疏化SGD提供实用指导。

提出的方法

• 提出一种新型稀疏化方案——随机块稀疏化，即在每轮迭代中将梯度划分为固定大小的块，并随机传输其中一部分块。
• 引入误差反馈机制，通过存储并重新应用原始梯度与稀疏化梯度之间的差异，以保证收敛性。
• 采用AllReduce和AllGather作为通信基础架构，评估不同聚合策略下的性能表现。
• 实现逐层稀疏化和全局稀疏化两种范围，以比较梯度共享粒度对模型精度和训练速度的影响。
• 测量前向传播、反向传播、梯度交换以及压缩/解压缩各阶段的训练时间分布，以识别性能瓶颈。
• 在不同工作节点数量和稀疏化比率下，评估多种稀疏化方案（top-k、random-k、block-random-k）的性能表现。

实验结果

研究问题

• RQ1 稀疏化范围的选择（逐层 vs. 全局）如何影响模型精度和训练效率？
• RQ2 在通信减少与模型性能之间，哪种稀疏化方案（top-k、random-k、block-random-k）能提供最佳权衡？
• RQ3 通信聚合方法（AllReduce vs. AllGather）如何影响稀疏化SGD的性能表现？
• RQ4 随着工作节点数量的增加，稀疏化SGD的测试精度和训练时间将受到何种影响？
• RQ5 像block-random-k这样简单的稀疏化方案，是否能在保持相近精度的前提下，实现比标准SGD更快的训练速度？

主要发现

• 在测试精度方面，逐层稀疏化始终优于全局稀疏化，因为其能确保每轮迭代中所有层都参与参数更新。
• 在所有配置下，top-k稀疏化均取得最高测试精度，其次是block-random-k和random-k，这得益于其优先传输最具信息量梯度的能力。
• 尽管block-random-k传输的数据量多于top-k，但由于压缩开销更低，其训练时间低于标准SGD（在8张GPU上为273ms vs. 375ms/批）。
• 在逐层稀疏化下，random-k方案与block-random-k表现相当；但在全局稀疏化下，由于层参与度有限，random-k方案的精度下降更为明显。
• 对于random-k方案，AllReduce与AllGather在测试精度上差异可忽略；但对于block-random-k方案，随着工作节点数量增加，AllReduce导致精度显著下降，可能是因为梯度多样性降低。
• 随着工作节点数量的增加，所有配置均出现泛化差距，导致测试精度下降，且在全局稀疏化下该现象更为严重。