[论文解读] On the Benefits of Multiple Gossip Steps in Communication-Constrained Decentralized Optimization

Abolfazl Hashemi, Anish Acharya+4 more|arXiv (Cornell University)|Nov 20, 2020

Distributed Control Multi-Agent Systems参考文献 58被引用 5

一句话总结

该论文提出 DeLi-CoCo，一种通信高效的去中心化优化算法，通过在任意通信压缩下于梯度更新之间执行多次 gossip 步骤来加速收敛。该文证明，对于满足 Polyak-Łojasiewicz 条件的光滑非凸目标函数，该算法在每轮梯度迭代中使用 $O(\log \frac{1}{\epsilon})$ 次 gossip 步骤，可实现线性收敛至最优解的 $\epsilon$ 误差范围内，收敛速率与无压缩的去中心化梯度下降（DGD）相当，同时通过增加 gossip 步数可实现任意降低的次优性。

ABSTRACT

In decentralized optimization, it is common algorithmic practice to have nodes interleave (local) gradient descent iterations with gossip (i.e. averaging over the network) steps. Motivated by the training of large-scale machine learning models, it is also increasingly common to require that messages be {\em lossy compressed} versions of the local parameters. In this paper, we show that, in such compressed decentralized optimization settings, there are benefits to having {\em multiple} gossip steps between subsequent gradient iterations, even when the cost of doing so is appropriately accounted for e.g. by means of reducing the precision of compressed information. In particular, we show that having $O(\log\frac{1}ε)$ gradient iterations {with constant step size} - and $O(\log\frac{1}ε)$ gossip steps between every pair of these iterations - enables convergence to within $ε$ of the optimal value for smooth non-convex objectives satisfying Polyak-Łojasiewicz condition. This result also holds for smooth strongly convex objectives. To our knowledge, this is the first work that derives convergence results for nonconvex optimization under arbitrary communication compression.

研究动机与目标

• 为解决去中心化机器学习中高通信成本的问题，特别是压缩参数交换带来的挑战。
• 探究在通信受限条件下，于梯度更新之间执行多次 gossip 步骤是否能提升收敛效率。
• 开发一种理论基础坚实的算法，在极端压缩下仍保持快速收敛。
• 为任意（有偏或无偏）压缩算子下的非凸目标函数建立收敛保证。
• 证明在固定通信预算下，增加 gossip 步数并降低压缩精度可提升通信效率。

提出的方法

• 提出 DeLi-CoCo，一种迭代式去中心化算法，在每次本地梯度更新后执行 $Q > 1$ 次 gossip 步骤。
• 将任意通信压缩（如量化、稀疏化）集成到 gossip 阶段，允许本地参数的有损传输。
• 在图网络上使用一致性机制对本地估计值进行平均，压缩应用于节点间交换的消息。
• 采用一种新颖的误差反馈机制，以追踪并校正 gossip 迭代过程中由压缩引起的误差。
• 基于 Polyak-Łojasiewicz（PL）条件推导收敛边界，使非凸目标函数实现线性收敛。
• 分析 gossip 步数 $Q$ 与压缩精度之间的权衡，表明增加 $Q$ 可降低次优性半径。

实验结果

研究问题

• RQ1 在通信受限的去中心化优化中，于梯度更新之间执行多次 gossip 步骤是否能改善收敛性？
• RQ2 增加 gossip 步数是否允许使用更低精度的压缩，同时保持或提升收敛性能？
• RQ3 在任意通信压缩（包括有偏算子）下，能否实现非凸目标函数的线性收敛？
• RQ4 gossip 步数 $Q$ 如何影响解的次优性半径？
• RQ5 是否存在理论上的权衡关系，使得增加 gossip 步数并降低压缩精度能提升通信效率？

主要发现

• DeLi-CoCo 在每轮梯度迭代中使用 $O(\log \frac{1}{\epsilon})$ 次 gossip 步骤，可实现光滑非凸目标函数在满足 Polyak-Łojasiewicz 条件下，收敛至最优解 $\epsilon$ 误差范围内的线性收敛，且仅需 $O(\log \frac{1}{\epsilon})$ 次梯度迭代。
• 即使在任意压缩算子下，其收敛速率仍与无压缩的去中心化梯度下降（DGD）相当。
• 通过增加 gossip 步数 $Q$，可任意降低次优性半径，优于标准 DGD。
• 在固定通信预算下，增加 $Q$ 并降低压缩精度可提升收敛性能，该结论在理论上得到证明并经数值实验验证。
• 该算法在有偏与无偏压缩算子下均保持收敛性，将先前结果扩展至非凸设置。
• 理论分析确认压缩误差有界且随时间衰减，从而实现稳定且快速的收敛。