[论文解读] SPARQ-SGD: Event-Triggered and Compressed Communication in Decentralized Stochastic Optimization

Navjot Singh, Deepesh Data+2 more|arXiv (Cornell University)|Oct 31, 2019

Stochastic Gradient Optimization Techniques参考文献 32被引用 13

一句话总结

SPARQ-SGD 提出了一种用于去中心化随机优化的事件触发式、压缩通信框架，其中节点仅在至少经过 H 个本地步骤后且参数发生显著变化时才传输量化和稀疏化的模型更新。该方法在强凸情况下达到 $O(1/nT)$ 的收敛速率，在非凸情况下达到 $O(1/\sqrt{nT})$ 的收敛速率，证明了激进压缩与事件触发通信不会降低收敛性能，实现了通信效率提升而无需性能损失。

ABSTRACT

In this paper, we propose and analyze SPARQ-SGD, which is an event-triggered and compressed algorithm for decentralized training of large-scale machine learning models. Each node can locally compute a condition (event) which triggers a communication where quantized and sparsified local model parameters are sent. In SPARQ-SGD each node takes at least a fixed number ($H$) of local gradient steps and then checks if the model parameters have significantly changed compared to its last update; it communicates further compressed model parameters only when there is a significant change, as specified by a (design) criterion. We prove that the SPARQ-SGD converges as $O(\frac{1}{nT})$ and $O(\frac{1}{\sqrt{nT}})$ in the strongly-convex and non-convex settings, respectively, demonstrating that such aggressive compression, including event-triggered communication, model sparsification and quantization does not affect the overall convergence rate as compared to uncompressed decentralized training; thereby theoretically yielding communication efficiency for "free". We evaluate SPARQ-SGD over real datasets to demonstrate significant amount of savings in communication over the state-of-the-art.

研究动机与目标

• 为通过结合事件触发通信与模型压缩来解决去中心化机器学习中的高通信成本问题。
• 在不牺牲收敛速度的前提下，减少去中心化训练中的冗余通信。
• 对一种事件触发、压缩的去中心化 SGD 算法的收敛行为进行理论分析。
• 在真实数据集上展示相对于最先进方法的显著通信节省。

提出的方法

• 每个节点在检查自上次通信以来模型参数是否发生显著变化前，至少执行 H 个本地梯度步骤。
• 本地触发条件决定是否通信；仅当变化超过预设阈值时才进行通信。
• 触发后，节点使用稀疏化（取前 k 项）和量化（离散化取值）对模型参数进行压缩后发送。
• 该算法将事件触发通信与模型压缩相结合，将先前在分布式设置中的工作扩展至去中心化图结构。
• 在梯度和噪声的标准假设下，对强凸和光滑非凸目标函数进行了收敛性分析。
• 通过李雅普诺夫风格分析推导出理论边界，表明通信压缩和事件触发不会影响渐近收敛速率。

实验结果

研究问题

• RQ1 事件触发通信与压缩结合是否能维持与未压缩去中心化 SGD 相同的收敛速率？
• RQ2 稀疏化、量化与事件触发的结合如何影响去中心化优化中的收敛性？
• RQ3 SPARQ-SGD 相较于现有压缩或低频通信方法，在理论通信效率上有多大提升？
• RQ4 在具有随机梯度的非凸目标下，该算法是否仍能保持收敛保证？
• RQ5 SPARQ-SGD 在实际中面对网络规模和通信约束时，性能如何扩展？

主要发现

• 在强凸设置下，SPARQ-SGD 达到 $O(1/nT)$ 的收敛速率，与未压缩去中心化 SGD 的速率一致。
• 在非凸设置下，算法以 $O(1/\sqrt{nT})$ 的速率收敛，证实激进压缩与事件触发不会降低收敛性能。
• 理论分析表明，通信压缩与事件触发不会带来收敛惩罚，实现了‘免费的通信效率’。
• 在真实数据集上的实证评估显示，相比最先进方法，通信开销显著减少。
• 只要触发条件设计得当，该方法即使在量化和稀疏化下仍能保持收敛性。
• 在存在噪声和非独立同分布数据的情况下，该算法的性能依然稳健，这由随机梯度下的收敛边界得到验证。