[论文解读] pFedSim: Similarity-Aware Model Aggregation Towards Personalized Federated Learning

Jiahao Tan, Yipeng Zhou+3 more|arXiv (Cornell University)|May 25, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

pFedSim 提出了一种个性化联邦学习框架，通过结合模型解耦与基于相似性的聚合，利用分类器距离识别相似客户端，实现无需额外通信或隐私风险的个性化特征提取器。在非独立同分布（non-IID）数据上，其平均准确率比当前最先进基线高出 2.96%。

ABSTRACT

The federated learning (FL) paradigm emerges to preserve data privacy during model training by only exposing clients' model parameters rather than original data. One of the biggest challenges in FL lies in the non-IID (not identical and independently distributed) data (a.k.a., data heterogeneity) distributed on clients. To address this challenge, various personalized FL (pFL) methods are proposed such as similarity-based aggregation and model decoupling. The former one aggregates models from clients of a similar data distribution. The later one decouples a neural network (NN) model into a feature extractor and a classifier. Personalization is captured by classifiers which are obtained by local training. To advance pFL, we propose a novel pFedSim (pFL based on model similarity) algorithm in this work by combining these two kinds of methods. More specifically, we decouple a NN model into a personalized feature extractor, obtained by aggregating models from similar clients, and a classifier, which is obtained by local training and used to estimate client similarity. Compared with the state-of-the-art baselines, the advantages of pFedSim include: 1) significantly improved model accuracy; 2) low communication and computation overhead; 3) a low risk of privacy leakage; 4) no requirement for any external public information. To demonstrate the superiority of pFedSim, extensive experiments are conducted on real datasets. The results validate the superb performance of our algorithm which can significantly outperform baselines under various heterogeneous data settings.

研究动机与目标

• 为解决联邦学习中数据异质性问题，即非独立同分布（non-IID）数据分布导致模型性能下降。
• 在不暴露额外数据统计信息或产生高通信成本的前提下，提升个性化模型的准确率。
• 开发一种方法，仅利用模型参数准确识别相似客户端，避免因依赖外部信息导致的隐私泄露。
• 以一种增强个性化与泛化能力的方式，结合模型解耦与基于相似性的聚合。
• 在对超参数调优敏感度低且计算开销最小的前提下实现高性能。

提出的方法

• pFedSim 将神经网络解耦为个性化特征提取器与分类器，其中分类器在每个客户端本地训练。
• 客户端之间的相似性通过本地分类器之间的 L2 距离进行度量，从而实现基于相似性的特征提取器聚合。
• 该框架分为两个阶段：第一阶段使用 FedAvg 进行初始训练以实现泛化，第二阶段通过迭代优化实现个性化。
• 在个性化阶段，特征提取器在本地更新，并仅在分类器相似的客户端之间进行聚合，以提升泛化能力。
• 该方法避免暴露原始数据或统计摘要，完全依赖模型参数来估计相似性。
• 超参数 ρ 控制本地更新与聚合更新之间的平衡，实验表明其对模型性能影响较小。

实验结果

研究问题

• RQ1 基于分类器的相似性估计是否能在不暴露额外数据信息的前提下提升个性化联邦学习的准确率？
• RQ2 在非独立同分布（non-IID）数据设置下，将模型解耦与基于相似性的聚合相结合，对模型性能有何影响？
• RQ3 仅使用模型参数（而非数据统计）进行客户端相似性估计，对隐私保护与通信效率有何影响？
• RQ4 所提出方法对超参数调优的敏感度如何，特别是对 ρ 的敏感度？
• RQ5 当客户端样本极少时（如 Tiny-ImageNet 中每个客户端仅 550 个样本），该方法是否仍能保持高性能？

主要发现

• 在多种非独立同分布（non-IID）设置下的数据集上，pFedSim 相较于当前最先进基线，平均准确率提升 2.96%。
• 在极具挑战性的 Tiny-ImageNet 数据集上（每个客户端仅 550 个样本），pFedSim 相较于基线模型准确率提升近 10%。
• pFedSim 显著优于 f-FedAP，后者依赖批量归一化统计量进行相似性估计，而 pFedSim 采用更精确的基于分类器的距离测量。
• pFedSim 的模型准确率对超参数 ρ 具有鲁棒性，在各类实验中均表现出对 ρ 值的低敏感度。
• pFedSim 保持了低通信与计算开销，仅交换模型参数，无需外部数据或统计摘要。
• 在所有评估设置中，pFedSim 均取得最高准确率，尤其在 CIFAR-10、CINIC-10、Tiny-ImageNet 和 EMNIST 数据集上，在 Dirichlet 分布（α=0.1）与较温和的非独立同分布（α=0.5）设置下均表现最佳。