[论文解读] RingFed: Reducing Communication Costs in Federated Learning on Non-IID Data

Guang Yang, Mu Ke+3 more|arXiv (Cornell University)|Jul 19, 2021

Privacy-Preserving Technologies in Data参考文献 37被引用 9

一句话总结

RingFed 在联邦学习中提出一种基于环形的通信拓扑，通过允许客户端之间直接交换参数，而非依赖中心服务器进行聚合，从而降低通信成本。通过在最终服务器同步前，预先在相邻客户端之间聚合模型更新，RingFed 在非独立同分布（non-IID）数据条件下显著减少了通信轮次，实现了更快的收敛速度和更高的准确率。

ABSTRACT

Federated learning is a widely used distributed deep learning framework that protects the privacy of each client by exchanging model parameters rather than raw data. However, federated learning suffers from high communication costs, as a considerable number of model parameters need to be transmitted many times during the training process, making the approach inefficient, especially when the communication network bandwidth is limited. This article proposes RingFed, a novel framework to reduce communication overhead during the training process of federated learning. Rather than transmitting parameters between the center server and each client, as in original federated learning, in the proposed RingFed, the updated parameters are transmitted between each client in turn, and only the final result is transmitted to the central server, thereby reducing the communication overhead substantially. After several local updates, clients first send their parameters to another proximal client, not to the center server directly, to preaggregate. Experiments on two different public datasets show that RingFed has fast convergence, high model accuracy, and low communication cost.

研究动机与目标

• 为解决联邦学习中的高通信成本，尤其是在带宽受限条件下的问题。
• 在客户端间存在统计异质性（非独立同分布数据）的情况下，提升收敛速度与模型准确率。
• 降低对中心服务器进行模型聚合的依赖，从而减少网络瓶颈。
• 设计一种可扩展且鲁棒的通信框架，在系统异构性和数据偏移条件下仍能保持性能。

提出的方法

• RingFed 用环形拓扑替代传统的星型拓扑，使客户端直接与相邻对等节点通信，而非全部与中心服务器通信。
• 本地训练后，客户端通过与邻近客户端交换并平均模型参数进行预聚合，从而减少直接向服务器传输的次数。
• 该方法引入参数 γ 以控制环形交换过程中客户端之间的参数混合程度，其中 γ ∈ [0,1] 决定客户端模型由其邻居参数更新的程度。
• 仅将环形聚合后的最终模型发送至中心服务器，从而最小化总通信量。
• 框架采用类似 FedAvg 的改进训练流程，结合周期性客户端选择与基于环形的参数交换，以保持模型一致性与收敛性。
• 通过超参数调优，优化多个数据集和客户端选择比例下的学习率、动量及学习率衰减策略。

实验结果

研究问题

• RQ1 与标准星型拓扑相比，基于环形的通信拓扑是否能降低联邦学习中的总通信成本？
• RQ2 在非独立同分布数据分布下，客户端间的预聚合如何影响收敛速度与模型准确率？
• RQ3 在环形交换过程中，参数混合比 γ 的最优值是多少，以实现收敛与性能之间的平衡？
• RQ4 每轮选择的客户端数量如何影响 RingFed 与 FedAvg 及其他基线方法的性能？
• RQ5 RingFed 在应对数据偏移与系统异构性方面的鲁棒性相较于现有方法有多强？

主要发现

• 在非独立同分布设置下，RingFed 在 MNIST 和 FMNIST 数据集上均比 FedAvg 收敛更快，且在更少的通信轮次内达到更高的测试准确率。
• 在每轮选择 50% 客户端的情况下，RingFed 在 FMNIST 上达到 85.44% 的测试准确率，优于 FedAvg（80.92%）及其他基线方法。
• 当 γ = 0.8 时，RingFed 在所有客户端选择比例下均取得最佳性能，在 50% 客户端设置下，FMNIST 的平均准确率为 85.44%，标准差为 0.27。
• 在 10% 客户端选择比例下，RingFed 的平均准确率为 75.49%（γ=0.8），优于 FedAvg（γ=0）的 74.46%，表现出更强的鲁棒性。
• 该方法在高数据偏移与非独立同分布条件下仍表现出稳定的收敛性，而 FedAvg、FedProx 和 SCAFFOLD 则表现出显著发散。
• 通过最小化直接向服务器传输的次数，通信成本得以降低，因为仅最终的环形聚合模型被发送至服务器，从而显著减少了总带宽使用。