[论文解读] Personalised Federated Learning: A Combinational Approach

Sone Kyaw Pye, Han Yu|arXiv (Cornell University)|Aug 22, 2021

Privacy-Preserving Technologies in Data参考文献 13被引用 4

一句话总结

本文提出了一种用于联邦学习（FL）的组合个性化框架，整合了多种技术——微调、专家混合模型（MoE）、多任务学习（MTL）和知识蒸馏（KD）——以在非独立同分布（non-i.i.d.）数据、差分隐私（DP）和鲁棒聚合（RA）条件下提升模型性能。结果表明，组合方法在性能上持续优于单一方法，并能有效缓解由数据异质性和隐私保护机制导致的性能下降。

ABSTRACT

Federated learning (FL) is a distributed machine learning approach involving multiple clients collaboratively training a shared model. Such a system has the advantage of more training data from multiple clients, but data can be non-identically and independently distributed (non-i.i.d.). Privacy and integrity preserving features such as differential privacy (DP) and robust aggregation (RA) are commonly used in FL. In this work, we show that on common deep learning tasks, the performance of FL models differs amongst clients and situations, and FL models can sometimes perform worse than local models due to non-i.i.d. data. Secondly, we show that incorporating DP and RA degrades performance further. Then, we conduct an ablation study on the performance impact of different combinations of common personalization approaches for FL, such as finetuning, mixture-of-experts ensemble, multi-task learning, and knowledge distillation. It is observed that certain combinations of personalization approaches are more impactful in certain scenarios while others always improve performance, and combination approaches are better than individual ones. Most clients obtained better performance with combined personalized FL and recover from performance degradation caused by non-i.i.d. data, DP, and RA.

研究动机与目标

• 为解决客户端间数据分布非独立同分布（non-i.i.d.）导致的联邦学习模型性能下降问题。
• 研究差分隐私（DP）和鲁棒聚合（RA）对联邦学习模型性能的影响。
• 评估并比较各种个性化技术——微调、专家混合模型（MoE）、多任务学习（MTL）和知识蒸馏（KD）——的单独应用与组合应用效果。
• 识别在多样化联邦学习场景中能持续提升客户端特定性能的个性化策略最优组合。
• 证明组合个性化方法能够从数据异质性和隐私约束导致的性能损失中恢复。

提出的方法

• 作者实现了一种混合个性化框架，结合了微调、专家混合模型（MoE）、多任务学习（MTL）和知识蒸馏（KD）。
• 这些技术以顺序且互补的方式应用：首先训练全局联邦学习模型，然后通过微调和MoE对每个客户端进行适应，同时利用MTL和KD实现知识迁移。
• 该框架集成了差分隐私（DP）和鲁棒聚合（RA），以在训练过程中保护隐私并维持模型完整性。
• 在不同数据非独立同分布程度和隐私约束下，对多个深度学习任务的性能进行了评估。
• 通过消融研究系统性地隔离并比较每个个性化组件及其组合的贡献。
• 使用准确率和鲁棒性指标，在多样化数据分布下衡量客户端特定性能。

实验结果

研究问题

• RQ1 数据非独立同分布分布如何影响标准联邦学习模型在客户端上的性能？
• RQ2 差分隐私和鲁棒聚合作为隐私保护机制，对联邦学习模型性能的退化程度有多大？
• RQ3 在微调、MoE、MTL和KD中，哪种个性化技术能带来最一致的性能提升？
• RQ4 在异构和隐私受限的联邦学习环境中，组合个性化策略是否优于单一方法？
• RQ5 组合个性化框架是否能够恢复由非独立同分布数据、DP和RA导致的性能损失？

主要发现

• 由于数据非独立同分布分布，标准联邦学习模型的性能通常低于本地模型。
• 差分隐私和鲁棒聚合的应用进一步降低了联邦学习模型在各客户端上的性能。
• 个性化技术的组合能持续提升客户端特定性能，某些组合在特定场景中表现出更优的增益。
• 所提出的组合方法能有效恢复由非独立同分布数据、DP和RA导致的性能损失，优于全局模型和单一个性化模型。
• 微调与知识蒸馏及专家混合模型的组合在多样化客户端数据分布下展现出最稳健的性能提升。
• 某些个性化方法的组合具有普遍优势，而另一些则具有上下文依赖性，凸显了自适应策略选择的必要性。