[论文解读] Personalized Federated Learning under Mixture of Distributions

Yue Wu, Shuaicheng Zhang+6 more|arXiv (Cornell University)|May 1, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

该论文提出 FedGMM，一种个性化联邦学习框架，通过联邦期望最大化算法，利用高斯混合模型（GMMs）对联合数据分布异质性进行建模。该方法在个性化联邦学习和分布外（OOD）检测方面表现优异，通过实现不确定性量化并实现对新客户端的高效适应，且无需梯度相似性假设。

ABSTRACT

The recent trend towards Personalized Federated Learning (PFL) has garnered significant attention as it allows for the training of models that are tailored to each client while maintaining data privacy. However, current PFL techniques primarily focus on modeling the conditional distribution heterogeneity (i.e. concept shift), which can result in suboptimal performance when the distribution of input data across clients diverges (i.e. covariate shift). Additionally, these techniques often lack the ability to adapt to unseen data, further limiting their effectiveness in real-world scenarios. To address these limitations, we propose a novel approach, FedGMM, which utilizes Gaussian mixture models (GMM) to effectively fit the input data distributions across diverse clients. The model parameters are estimated by maximum likelihood estimation utilizing a federated Expectation-Maximization algorithm, which is solved in closed form and does not assume gradient similarity. Furthermore, FedGMM possesses an additional advantage of adapting to new clients with minimal overhead, and it also enables uncertainty quantification. Empirical evaluations on synthetic and benchmark datasets demonstrate the superior performance of our method in both PFL classification and novel sample detection.

研究动机与目标

• 解决现有个性化联邦学习（PFL）方法仅关注概念漂移（条件分布异质性）而忽略协变量漂移（边缘分布异质性）的局限性。
• 开发一种能够有效建模客户端间联合分布异质性的 PFL 框架，其中输入和标签分布均存在差异。
• 在真实联邦设置中，为未见客户端和新样本实现不确定性量化和分布外（OOD）检测。
• 设计一种通信高效、可扩展的方法，支持对新客户端进行快速适应，且再训练开销最小。

提出的方法

• FedGMM 将客户端之间的联合数据分布建模为高斯分量的混合，捕捉输入（协变量）和标签（概念）漂移。
• 采用联邦期望最大化（EM）算法以分布式方式估计 GMM 参数，最大化客户端间观测数据的对数似然。
• EM 算法以闭式解求解，无需梯度相似性假设，从而实现稳定且高效的收敛。
• 通过估计样本在学习到的 GMM 下的概率，实现不确定性量化，支持 OOD 检测。
• 个性化模型从 GMM 分量中推导得出，使每个客户端可根据其本地数据分布选择或组合分量。
• 通过复用全局 GMM 结构并仅微调分量权重，实现对新客户端的快速适应，且所需数据极少。

实验结果

研究问题

• RQ1 联邦学习框架能否有效建模客户端间的联合分布异质性，包括协变量漂移和概念漂移？
• RQ2 如何将不确定性量化集成到个性化联邦学习中，以检测分布外样本和新客户端？
• RQ3 基于 GMM 的方法是否能实现优于仅建模条件分布漂移的现有 PFL 方法的个性化性能？
• RQ4 所提方法在最小再训练和通信开销下，对新客户端的适应能力在多大程度上得以实现？
• RQ5 FedGMM 中使用的联邦 EM 算法是否能在非独立同分布、异质的联邦学习设置中保证收敛性和稳定性？

主要发现

• 在三个基准联邦学习数据集和一个合成数据集上，FedGMM 在个性化准确率方面显著优于最先进的 PFL 基线方法。
• 该方法在分布外（OOD）检测方面表现更优，AUROC 和 AUPRC 分数均高于现有不确定性感知的 PFL 方法。
• FedGMM 实现了有效的样本级不确定性量化，可可靠检测新颖或异常输入。
• 联邦 EM 算法在强数据异质性下仍能可靠且高效收敛，且无需梯度相似性假设。
• 通过复用全局 GMM 结构，该框架支持对新客户端的快速适应，显著降低训练成本和通信开销。
• 实证结果表明，通过 GMM 建模联合分布异质性，相比假设边缘分布稳定的基线方法，可获得更鲁棒和个性化的模型。