[论文解读] rTop-k: A Statistical Estimation Approach to Distributed SGD

Leighton Pate Barnes, Huseyin A. Inan+2 more|arXiv (Cornell University)|May 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用 12

一句话总结

该论文提出 rTop-k，一种新型的通信高效稀疏化方法，用于分布式随机梯度下降（SGD），通过将随机-k与top-k梯度选择相结合，将随机梯度建模为偏斜且稀疏的分布。基于统计估计理论，推导出一种最优通信方案，选择最大幅值梯度的随机子集，该方法在图像和语言任务中均优于单独的top-k与随机-k方法，并实现了稳定的精度提升。

ABSTRACT

The large communication cost for exchanging gradients between different nodes significantly limits the scalability of distributed training for large-scale learning models. Motivated by this observation, there has been significant recent interest in techniques that reduce the communication cost of distributed Stochastic Gradient Descent (SGD), with gradient sparsification techniques such as top-k and random-k shown to be particularly effective. The same observation has also motivated a separate line of work in distributed statistical estimation theory focusing on the impact of communication constraints on the estimation efficiency of different statistical models. The primary goal of this paper is to connect these two research lines and demonstrate how statistical estimation models and their analysis can lead to new insights in the design of communication-efficient training techniques. We propose a simple statistical estimation model for the stochastic gradients which captures the sparsity and skewness of their distribution. The statistically optimal communication scheme arising from the analysis of this model leads to a new sparsification technique for SGD, which concatenates random-k and top-k, considered separately in the prior literature. We show through extensive experiments on both image and language domains with CIFAR-10, ImageNet, and Penn Treebank datasets that the concatenated application of these two sparsification methods consistently and significantly outperforms either method applied alone.

研究动机与目标

• 通过将随机梯度建模为偏斜且稀疏的分布，弥合分布式统计估计理论与通信高效深度学习之间的鸿沟。
• 在通信约束下，推导出分布式SGD中梯度稀疏化的统计最优通信方案。
• 设计一种新型稀疏化技术，其在收敛速度与精度方面均优于现有方法（如top-k与随机-k）。
• 通过在图像与语言基准上的广泛实验，验证理论框架的有效性。

提出的方法

• 基于对梯度幅值分布的经验观察，提出一种捕捉其偏斜性与稀疏性的随机梯度统计估计模型。
• 应用分布式估计理论中的工具，刻画在通信约束下的基本估计效率。
• 推导出一种最优通信策略，选择top-k幅值梯度中的随机子集，从而形成rTop-k方法。
• rTop-k被形式化为一个压缩算子，满足先前研究（如[26, 27]）中收敛性保证的条件。
• 使用泊松二项分布与次高斯集中不等式，对估计误差进行界约束，并推导理论性能边界。
• 采用费希尔信息量与奥尔利奇范数分析，建立估计误差的理论下界，验证所提方案的最优性。

实验结果

研究问题

• RQ1 随机梯度的统计估计模型能否为分布式SGD中的更高效通信方案设计提供指导？
• RQ2 在梯度呈现偏斜与稀疏特性的前提下，给定通信约束，理论上最优的梯度通信方式是什么？
• RQ3 通过统计最优选择策略结合随机-k与top-k稀疏化，是否能获得优于单一方法的性能？
• RQ4 与现有稀疏化技术相比，所提出的rTop-k方法在收敛速度与最终模型精度方面表现如何？

主要发现

• rTop-k在多个基准测试中，包括CIFAR-10、ImageNet与Penn Treebank，始终优于top-k与随机-k稀疏化方法。
• 该方法在低通信场景下实现了显著的精度提升，主要得益于更优的梯度信息保留。
• 理论分析表明，rTop-k实现了$ O\left(\frac{s^2 \log d}{n k}\right) $量级的估计误差界，与所提模型下的基本极限一致。
• 由于rTop-k是有效的压缩算子，继承了先前研究的收敛性保证，确保了训练过程的稳定性。
• 实验结果表明，rTop-k在仅传输少量梯度的情况下仍能保持高模型精度，有效降低了通信成本。