[论文解读] On the Communication Latency of Wireless Decentralized Learning

Navid Naderializadeh|arXiv (Cornell University)|Feb 10, 2020

Cooperative Communication and Network Coding参考文献 27被引用 5

一句话总结

本文分析了无线去中心化学习网络中的通信延迟，其中 n 个节点通过共享介质以基于距离的拓扑结构（通信范围为 Rn^{-\beta}）交换梯度。利用随机几何图和网络信息论，推导出延迟的量级为 O(n^{2-3\beta}/(\beta\log n))，表明网络密度增加可降低延迟，但更多交换会增加延迟，从而在收敛速度与通信开销之间实现平衡。

ABSTRACT

We consider a wireless network comprising $n$ nodes located within a circular area of radius $R$, which are participating in a decentralized learning algorithm to optimize a global objective function using their local datasets. To enable gradient exchanges across the network, we assume each node communicates only with a set of neighboring nodes, which are within a distance $R n^{-β}$ of itself, where $β\in(0,\frac{1}{2})$. We use tools from network information theory and random geometric graph theory to show that the communication delay for a single round of exchanging gradients on all the links throughout the network scales as $\mathcal{O}\left(\frac{n^{2-3β}}{β\log n} ight)$, increasing (at different rates) with both the number of nodes and the gradient exchange threshold distance.

研究动机与目标

• 建立并量化无线去中心化学习网络中节点仅与邻近邻居交换梯度时的通信延迟。
• 理解网络规模（n）、传输范围（Rn^{-\beta}）以及干扰对端到端梯度交换延迟的影响。
• 利用随机几何图理论和网络信息论工具，推导通信延迟的渐近上界。
• 为优化去中心化无线机器学习系统中收敛速度与通信开销之间的权衡提供设计洞见。

提出的方法

• 将 n 个节点均匀分布在半径为 R 的圆内，每个节点仅与距离在 Rn^{-\beta} 以内的邻居通信。
• 应用随机几何图理论，刻画通信链路的期望数量及网络的连通性特性。
• 利用在干扰受限无线网络中可实现速率的信息论界，将干扰视为噪声。
• 通过冲突图模型和调度约束，推导所有梯度交换所需时隙数的上界。
• 采用渐近分析方法（当 n → ∞ 时）推导通信延迟的量级规律。
• 使用微积分和函数凹性分析验证延迟上界在冲突传输数上的单调性。

实验结果

研究问题

• RQ1 在无线去中心化学习网络中，通信延迟如何随节点数 n 变化？
• RQ2 通信范围阈值 Rn^{-\beta} 对梯度交换延迟有何影响？
• RQ3 无线介质的干扰受限特性如何影响并发梯度传输的调度？
• RQ4 在去中心化学习中，网络密度（通过 β 表示）与通信延迟之间的根本权衡是什么？
• RQ5 能否结合信息论与随机几何图工具，为这类网络中的延迟推导出紧致的渐近上界？

主要发现

• 当 n → ∞ 时，单轮梯度交换的通信延迟量级为 O(n^{2-3\beta}/(\beta\log n))。
• 延迟随节点数 n 增加而上升，但随 β 增大而减小，β 增大对应更密集的通信拓扑。
• 该上界通过冲突图模型和信息论速率限制推导得出，假设干扰被当作噪声处理。
• 分析表明，当 β < 1/2 时，所有梯度交换所需时隙数随 n 的增长呈次线性。
• 推导出的延迟上界在冲突传输数量上具有单调性，验证了调度优化的适用性。
• 该结果为设计具有可预测收敛延迟的高效无线去中心化学习系统提供了理论基础。