[论文解读] Server Averaging for Federated Learning

George Pu, Yanlin Zhou+2 more|arXiv (Cornell University)|Mar 22, 2021

Privacy-Preserving Technologies in Data参考文献 16被引用 4

一句话总结

本文提出了一种服务器平均方法用于联邦学习，通过定期从多个历史全局模型中平均生成新的全局模型，以加速收敛。实验表明，该方法在非独立同分布（non-IID）数据下比FedAvg更快达到目标准确率，同时通过周期性衰减策略将客户端计算量最多降低40%，且未牺牲性能。

ABSTRACT

Federated learning allows distributed devices to collectively train a model without sharing or disclosing the local dataset with a central server. The global model is optimized by training and averaging the model parameters of all local participants. However, the improved privacy of federated learning also introduces challenges including higher computation and communication costs. In particular, federated learning converges slower than centralized training. We propose the server averaging algorithm to accelerate convergence. Sever averaging constructs the shared global model by periodically averaging a set of previous global models. Our experiments indicate that server averaging not only converges faster, to a target accuracy, than federated averaging (FedAvg), but also reduces the computation costs on the client-level through epoch decay.

研究动机与目标

• 为解决联邦学习在非独立同分布（non-i.i.d.）数据分布下的收敛缓慢问题。
• 在不降低模型性能的前提下，降低客户端计算成本。
• 通过在服务器端对历史全局模型状态进行平均，提升收敛速度与泛化能力。
• 探索周期衰减作为客户端计算控制机制的有效性。

提出的方法

• 服务器平均通过一个大小为P的滑动窗口，定期将过去P个全局模型进行平均，生成新的全局模型。
• 每R轮通信执行一次平均操作，公式为 $ w^t \text{←} \sum_{i=0}^{P-1} w^{t-i} $，实质上是对近期全局模型进行加权平均。
• 周期衰减通过随时间减少本地训练轮数来降低计算量，初始值为E，每D轮减半：$ E_t = \max(E / 2^{\lfloor t/D \rfloor}, 1) $。
• 该方法应用于非独立同分布（non-IID）的联邦MNIST数据集，并与FedAvg在90%、95%、97%和98%准确率阈值下的测试准确率进行对比。
• 该方法借鉴了迭代平均原理，以稳定训练并提升泛化能力，类似于随机权重平均（Stochastic Weight Averaging, SWA）。
• 该技术设计为通信与计算高效，无需传输额外的梯度或动量项。

实验结果

研究问题

• RQ1 与FedAvg相比，服务器端对历史全局模型进行周期性平均是否能加速联邦学习中的收敛？
• RQ2 在非独立同分布（non-i.i.i.d.）数据分布下，服务器平均如何影响收敛速度与模型准确率？
• RQ3 周期衰减是否能在保持或提升收敛性能的同时减少客户端计算量？
• RQ4 将服务器平均与周期衰减结合，是否能实现训练速度与计算成本之间更优的权衡？
• RQ5 在收敛速度与通信效率方面，服务器平均方法与SOTA方法（如SCAFFOLD或FedProx）相比表现如何？

主要发现

• 当P=2且R=40时，服务器平均将达到90%准确率所需轮数减少了23%（FedAvg为36.40轮，本方法为28.00轮）。
• 在95%准确率下，最优配置（P=3，R=40）仅需76.20轮，相比FedAvg的85.40轮提升了11.5%。
• 该方法在所有准确率阈值下均实现了更快收敛，尤其在90%和95%准确率时提升最为显著。
• 周期衰减将客户端计算量最多降低40%，最佳衰减率（D=200）下，90%准确率仅需27.20轮，相比FedAvg提升了25%。
• 尽管计算量减少，周期衰减仍保持了具有竞争力的性能，仅在更高准确率阈值下略有增加轮数。
• 结合服务器平均与周期衰减的方法在收敛速度上优于FedAvg，同时降低了客户端计算成本，展现出速度与成本之间的理想权衡。