[论文解读] Removing Data Heterogeneity Influence Enhances Network Topology Dependence of Decentralized SGD

Kun Yuan, Sulaiman A. Alghunaim+1 more|arXiv (Cornell University)|May 17, 2021

Distributed Control Multi-Agent Systems参考文献 42被引用 11

一句话总结

本文提出 D²/Exact-diffusion，一种去中心化 SGD 的变体，通过减轻数据异质性来降低对网络拓扑的依赖。通过消除数据不平衡的影响，并结合多轮 gossip 通信的梯度累积，其在强凸问题下实现了 $ ilde{ Omega}(1/(1-eta)^{1/2})$ 的改进瞬态收敛速率，在一般凸问题下实现了 $ ilde{ Omega}(n/(1-eta))$ 的收敛速率——这是目前去中心化算法中对网络拓扑依赖最弱的结果。

ABSTRACT

We consider the decentralized stochastic optimization problems, where a network of $n$ nodes, each owning a local cost function, cooperate to find a minimizer of the globally-averaged cost. A widely studied decentralized algorithm for this problem is decentralized SGD (D-SGD), in which each node averages only with its neighbors. D-SGD is efficient in single-iteration communication, but it is very sensitive to the network topology. For smooth objective functions, the transient stage (which measures the number of iterations the algorithm has to experience before achieving the linear speedup stage) of D-SGD is on the order of $Ω(n/(1-β)^2)$ and $Ω(n^3/(1-β)^4)$ for strongly and generally convex cost functions, respectively, where $1-β\in (0,1)$ is a topology-dependent quantity that approaches $0$ for a large and sparse network. Hence, D-SGD suffers from slow convergence for large and sparse networks. In this work, we study the non-asymptotic convergence property of the D$^2$/Exact-diffusion algorithm. By eliminating the influence of data heterogeneity between nodes, D$^2$/Exact-diffusion is shown to have an enhanced transient stage that is on the order of $ ildeΩ(n/(1-β))$ and $Ω(n^3/(1-β)^2)$ for strongly and generally convex cost functions, respectively. Moreover, when D$^2$/Exact-diffusion is implemented with gradient accumulation and multi-round gossip communications, its transient stage can be further improved to $ ildeΩ(1/(1-β)^{\frac{1}{2}})$ and $ ildeΩ(n/(1-β))$ for strongly and generally convex cost functions, respectively. These established results for D$^2$/Exact-Diffusion have the best (i.e., weakest) dependence on network topology to our knowledge compared to existing decentralized algorithms. We also conduct numerical simulations to validate our theories.

研究动机与目标

• 为解决去中心化 SGD（D-SGD）对网络拓扑的强敏感性，尤其是在大规模稀疏网络中的表现。
• 通过减轻节点间数据异质性的影响，缩短瞬态阶段（即线性加速之前的时间段）。
• 通过增强对较差网络连通性的鲁棒性，提升去中心化优化中的收敛速率。
• 分析并优化 D²/Exact-diffusion 在不同网络拓扑和数据异质性下的收敛行为。
• 通过在合成数据和真实世界数据上的数值模拟，验证理论上的改进。

提出的方法

• 提出 D²/Exact-diffusion，一种去中心化 SGD 的变体，通过将本地梯度更新与全局平均解耦，以减少数据异质性的影响。
• 引入梯度累积和多轮 gossip 通信机制，以在不增加每轮通信成本的前提下增强信息交换。
• 采用改进的更新规则，在保持类似动量行为的同时，消除了非独立同分布数据分布带来的偏差。
• 利用李雅普诺夫函数框架分析收敛性，追踪随时间推移的平均迭代值的期望误差。
• 通过建模依赖于网络图谱特征值的误差项衰减过程，推导出瞬态阶段的边界。
• 使用归一化图拉普拉斯矩阵及特征值 $\lambda_2, \lambda_n$ 来量化网络连通性，其中 $1-\beta$ 表征连通性，$\beta$ 为混合矩阵的第二大特征值。

实验结果

研究问题

• RQ1 数据异质性如何影响去中心化 SGD 的瞬态收敛阶段？
• RQ2 通过消除数据异质性的影响，能否降低 D-SGD 对网络拓扑的依赖？
• RQ3 在强凸和一般凸目标下，D²/Exact-diffusion 的理论瞬态收敛速率是多少？
• RQ4 梯度累积与多轮 gossip 通信如何提升 D²/Exact-diffusion 的收敛速率？
• RQ5 任何去中心化算法可实现的对 $1-\beta$（网络连通性）的最小依赖程度是多少？

主要发现

• 对于强凸问题，D²/Exact-diffusion 的瞬态阶段为 $\tilde{\Omega}(1/(1-\beta)^{1/2})$，显著优于 D-SGD 的 $\Omega(n/(1-\beta)^2)$。
• 对于一般凸问题，瞬态阶段为 $\tilde{\Omega}(n/(1-\beta))$，优于 D-SGD 的 $\Omega(n^3/(1-\beta)^4)$。
• 通过引入梯度累积与多轮 gossip 通信，瞬态阶段进一步优化为强凸情形下的 $\tilde{\Omega}(1/(1-\beta)^{1/2})$ 和一般凸情形下的 $\tilde{\Omega}(n/(1-\beta))$。
• 该算法在现有去中心化方法中实现了对 $1-\beta$ 最优的依赖关系，表明其对稀疏和连通性差的网络具有高度鲁棒性。
• 数值模拟验证了理论改进，显示在稀疏网络拓扑中收敛更快、误差更低。
• 分析表明，消除数据异质性的影响可实现通信成本与收敛速度之间的更优权衡。