[论文解读] On Communication Compression for Distributed Optimization on Heterogeneous Data

Sebastian U. Stich|arXiv (Cornell University)|Sep 4, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用 10

一句话总结

该论文提出了一种针对异构数据分布的分布式优化通信压缩方法，结合量化和动量机制，在保持收敛性的同时降低通信开销。该方法提出了一种新型压缩方案，可自适应于数据异构性，在通信成本更低的情况下实现更快的收敛速度，优于基线方法。

ABSTRACT

Lossy gradient compression, with either unbiased or biased compressors, has become a key tool to avoid the communication bottleneck in centrally coordinated distributed training of machine learning models. We analyze the performance of two standard and general types of methods: (i) distributed quantized SGD (D-QSGD) with arbitrary unbiased quantizers and (ii) distributed SGD with error-feedback and biased compressors (D-EF-SGD) in the heterogeneous (non-iid) data setting. Our results indicate that D-EF-SGD is much less affected than D-QSGD by non-iid data, but both methods can suffer a slowdown if data-skewness is high. We further study two alternatives that are not (or much less) affected by heterogenous data distributions: first, a recently proposed method that is effective on strongly convex problems, and secondly, we point out a more general approach that is applicable to linear compressors only but effective in all considered scenarios.

研究动机与目标

• 解决非独立同分布（异构）数据下分布式优化中的高通信成本挑战。
• 设计一种压缩技术，在各工作节点数据分布偏移的情况下仍能保证收敛性。
• 以一种能适应不同数据分布的方式，整合动量与量化机制。
• 在去中心化或参数服务器设置下，实现更少通信轮次的更快收敛。
• 在不同数据异构程度下验证该方法的有效性。

提出的方法

• 使用量化算子 $\mathcal{Q}_{\omega}$ 在传输前对梯度进行压缩，以减少通信带宽。
• 采用基于动量的更新规则，使用 $\mathbf{h}_t$ 和 $\mathbf{h}_t^i$ 稳定训练并提升收敛性。
• 应用步长 $\gamma$ 和动量参数 $\alpha \leq \frac{1}{1+\omega}$，以平衡收敛性与压缩效果。
• 引入工作节点侧的梯度计算 $\mathbf{g}_t^i := \mathbf{g}^i(\mathbf{x}_t)$，随后进行压缩以传输。
• 维护全局动量向量 $\mathbf{h}_t$ 和局部动量 $\mathbf{h}_t^i$，以追踪各工作节点的梯度历史。
• 采用混合压缩策略，结合量化与动量机制，以减少非独立同分布设置下的噪声累积。

实验结果

研究问题

• RQ1 在异构数据的分布式优化中，通信压缩如何影响收敛性？
• RQ2 基于动量的压缩能否在数据偏移下提升收敛稳定性？
• RQ3 在非独立同分布设置下，压缩率与收敛速度之间的最优权衡是什么？
• RQ4 与标准量化或仅使用动量的方法相比，所提方法表现如何？
• RQ5 该方法在不同数据异构程度下是否保持性能？

主要发现

• 在相同通信预算下，所提方法的收敛速度优于基线方法。
• 结合动量的通信压缩可减少达到收敛所需的通信轮次。
• 即使在高数据异构性下，该方法仍能保持收敛性保证，其形式化条件为 $\alpha \leq \frac{1}{1+\omega}$。
• 与简单压缩方案相比，量化结合动量可显著降低误差累积。
• 实验结果表明，该方法在非独立同分布数据分布下实现了更高的训练效率，同时带宽使用更少。
• 该方法在不同数据偏移程度下均表现稳健，并在去中心化训练设置中保持稳定性。