[论文解读] Optimal Gradient Compression for Distributed and Federated Learning

Alyazeed Albasyoni, Mher Safaryan+2 more|arXiv (Cornell University)|Oct 7, 2020

Sparse and Compressive Sensing Techniques参考文献 40被引用 36

一句话总结

本文分析分布式和联邦学习中梯度压缩的基本速率-失真权衡，并提出在最坏/平均情形下接近下界的高效压缩器（Sparse Dithering 和 Spherical Compression）

ABSTRACT

Communicating information, like gradient vectors, between computing nodes in distributed and federated learning is typically an unavoidable burden, resulting in scalability issues. Indeed, communication might be slow and costly. Recent advances in communication-efficient training algorithms have reduced this bottleneck by using compression techniques, in the form of sparsification, quantization, or low-rank approximation. Since compression is a lossy, or inexact, process, the iteration complexity is typically worsened; but the total communication complexity can improve significantly, possibly leading to large computation time savings. In this paper, we investigate the fundamental trade-off between the number of bits needed to encode compressed vectors and the compression error. We perform both worst-case and average-case analysis, providing tight lower bounds. In the worst-case analysis, we introduce an efficient compression operator, Sparse Dithering, which is very close to the lower bound. In the average-case analysis, we design a simple compression operator, Spherical Compression, which naturally achieves the lower bound. Thus, our new compression schemes significantly outperform the state of the art. We conduct numerical experiments to illustrate this improvement.

研究动机与目标

• 激发并形式化分布式/联邦学习中梯度压缩的速率-失真权衡。
• 给定失真情况下，每个向量比特数的最坏情况与平均情况下的下界进行表征。
• 提出在高维下近似最优且实用的高效压缩算子。
• 分析压缩对迭代收敛与总通信量的影响。
• 提供实验验证，展示通信与收敛之间的权衡。

提出的方法

• 将压缩算子定义为编码器-解码器对，并将它们分为无偏、收缩以及严格收缩三类。
• 使用通信压缩的不确定性原理推导给定失真所需比特的最坏情况下界。
• 构造 Sparse Dithering 作为近似最优、有效的压缩器，并分析确定性（有偏）与随机（无偏）变体。
• 引入 Spherical Compression 作为平均情况最优的压缩器，在微小开销内达到下界。
• 通过理论界限和在分布式优化任务上的经验性实验，与现有方法进行比较。

实验结果

研究问题

• RQ1 在高维情况下，梯度压缩中失真与比特之间的基本下界是什么？
• RQ2 我们能否设计在保持计算高效的同时几乎达到这些下界的压缩算子？
• RQ3 压缩参数（失真水平、比特预算）如何影响分布式学习中的迭代复杂度和总通信量？
• RQ4 是否有在平均情况下最优且优于现有方法的实用压缩器？
• RQ5 在收偏/无偏压缩器之间在收敛性和通信效率方面有哪些权衡？

主要发现

• 一条紧致的渐近下界表明 b* (alpha, d) ≈ -log P(alpha, d) + log d + (1/2) log log d + e，其中 e 很小，确立了在最坏情况设置下的近似最优性。
• Sparse Dithering (SD) 以高效编码实现接近最优的最坏情况性能，并且在有偏和随机（无偏）变体中实现显著的带宽减少。
• 将 nu = 1/10 的确定性 SD 的通信量至多为 30 + log d + 3.35 d 比特，且距理论最优仅相差 1.69 d 比特。
• 随机 SD (无偏) 在期望下最多为 30 + log d + (log 3 + 1/(2√ω)) d 比特， enabling 显著的带宽节省（在某些设置下约 9.9×）。
• Spherical Compression (SC) 在平均情况下的下界内少于 3 位的额外开销实现，提供近似最优的平均通信。
• 实验在保持收敛行为的同时，在岭回归和逻辑回归任务中实现显著的通信减少。