[论文解读] Variance-Reduced Heterogeneous Federated Learning via Stratified Client Selection

Guangyuan Shen, Dehong Gao+5 more|arXiv (Cornell University)|Jan 15, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出了一种异构联邦学习中的分层客户端选择方法，以减少模型更新的方差，从而提升收敛性和准确性。通过根据本地数据分布对客户端分组，并优化各层的样本分配，该方法在有限采样比例下优于当前最先进方法，表现出更优性能。

ABSTRACT

Client selection strategies are widely adopted to handle the communication-efficient problem in recent studies of Federated Learning (FL). However, due to the large variance of the selected subset's update, prior selection approaches with a limited sampling ratio cannot perform well on convergence and accuracy in heterogeneous FL. To address this problem, in this paper, we propose a novel stratified client selection scheme to reduce the variance for the pursuit of better convergence and higher accuracy. Specifically, to mitigate the impact of heterogeneity, we develop stratification based on clients' local data distribution to derive approximate homogeneous strata for better selection in each stratum. Concentrating on a limited sampling ratio scenario, we next present an optimized sample size allocation scheme by considering the diversity of stratum's variability, with the promise of further variance reduction. Theoretically, we elaborate the explicit relation among different selection schemes with regard to variance, under heterogeneous settings, we demonstrate the effectiveness of our selection scheme. Experimental results confirm that our approach not only allows for better performance relative to state-of-the-art methods but also is compatible with prevalent FL algorithms.

研究动机与目标

• 解决通信高效联邦学习中因客户端异构性导致的模型更新方差过高的挑战。
• 在采样比例有限的情况下，提升联邦学习的收敛性和准确性，其中先前方法表现不佳。
• 通过基于数据分布异构性形成近似同质的分层组，开发一种客户端选择策略。
• 优化各层之间的样本量分配，以最小化总体方差，同时考虑各层特有的变异性。
• 从理论和实证两方面验证所提选择方案在异构联邦学习设置下的优越性。

提出的方法

• 根据客户端的本地数据分布对客户端进行分层，形成近似同质的组别，以减少层间异构性。
• 应用方差最小化目标，推导在固定总采样比例下各层间的最优样本量分配。
• 利用各层特有的方差估计指导分配，优先为变异性更高的层分配更大样本，以降低整体更新方差。
• 将该选择方案与现有联邦学习算法集成，无需修改网络架构。
• 理论分析建立了在异构数据条件下不同选择策略的显式方差上界。
• 该方法与标准联邦学习训练流程兼容，支持即插即用部署。

实验结果

研究问题

• RQ1 在采样比例有限的异构联邦学习中，客户端选择的方差在多大程度上影响收敛性和准确性？
• RQ2 基于本地数据分布对客户端进行分层，能否降低联邦学习中模型更新的方差？
• RQ3 何种最优样本量分配策略可使异构分层中的总体选择方差最小化？
• RQ4 与现有客户端选择策略相比，所提方法在收敛速度和最终准确率方面表现如何？
• RQ5 所提方法在多大程度上与标准联邦学习算法兼容？

主要发现

• 所提的分层客户端选择方法在异构联邦学习中，相比均匀采样和随机选择策略，显著降低了更新方差。
• 各层间最优样本量分配可提升收敛速度并获得更高的最终模型准确率。
• 在相同采样比例下，该方法性能优于当前最先进客户端选择基线方法。
• 理论分析证实，在异构数据条件下，所提方案的方差低于现有选择方法。
• 实验结果表明，该方法在多个标准联邦学习算法和基准数据集上均表现出良好的兼容性与一致的性能提升。