[论文解读] PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization

Bingyan Liu, Yao Guo+1 more|arXiv (Cornell University)|Mar 2, 2021

Privacy-Preserving Technologies in Data参考文献 61被引用 4

一句话总结

本文提出PFA，一种隐私保护的联邦适配框架，通过基于稀疏性的表征对具有相似数据分布的客户端进行分组，实现联邦模型的协作个性化。通过在不共享原始数据的情况下识别并适配相似客户端的全局模型，PFA在保持隐私的前提下，显著提升了个性化性能，优于本地微调方法。

ABSTRACT

Federated learning (FL) has become a prevalent distributed machine learning paradigm with improved privacy. After learning, the resulting federated model should be further personalized to each different client. While several methods have been proposed to achieve personalization, they are typically limited to a single local device, which may incur bias or overfitting since data in a single device is extremely limited. In this paper, we attempt to realize personalization beyond a single client. The motivation is that during FL, there may exist many clients with similar data distribution, and thus the personalization performance could be significantly boosted if these similar clients can cooperate with each other. Inspired by this, this paper introduces a new concept called federated adaptation, targeting at adapting the trained model in a federated manner to achieve better personalization results. However, the key challenge for federated adaptation is that we could not outsource any raw data from the client during adaptation, due to privacy concerns. In this paper, we propose PFA, a framework to accomplish Privacy-preserving Federated Adaptation. PFA leverages the sparsity property of neural networks to generate privacy-preserving representations and uses them to efficiently identify clients with similar data distributions. Based on the grouping results, PFA conducts an FL process in a group-wise way on the federated model to accomplish the adaptation. For evaluation, we manually construct several practical FL datasets based on public datasets in order to simulate both the class-imbalance and background-difference conditions. Extensive experiments on these datasets and popular model architectures demonstrate the effectiveness of PFA, outperforming other state-of-the-art methods by a large margin while ensuring user privacy. We will release our code at: https://github.com/lebyni/PFA.

研究动机与目标

• 为解决现有个性化方法仅在单个客户端数据上微调的局限性，此类方法因本地数据量较小而存在过拟合风险。
• 探索联邦适配作为一种新范式，即多个具有相似数据分布的客户端协同适配全局模型。
• 通过避免原始数据交换，即使在合作客户端之间也确保适配过程的隐私性。
• 开发一种基于模型稀疏性的可扩展且高效的客户端分组方法，以支持隐私保护的协作。
• 在模拟类别不平衡和背景差异的现实、人工构建的联邦学习（FL）数据集上评估该框架。

提出的方法

• PFA利用预训练联邦模型中激活神经元的稀疏模式，作为每个客户端的隐私保护表征。
• 这些稀疏向量从最终的全连接层计算得出，并通过余弦相似度度量客户端之间的相似性。
• 基于稀疏向量的相似性对客户端进行分组，形成具有相似数据分布的客户端簇。
• 在每个簇内，通过仅使用模型参数而非原始数据，开展新的联邦学习过程以协同适配全局模型。
• 该框架通过允许在稀疏向量中注入噪声来确保差分隐私，尽管此工作留待未来研究。
• 该方法通过从不传输原始数据或模型权重（除客户端和服务器最终适配的模型外）来避免数据泄露。

实验结果

研究问题

• RQ1 联邦适配——即多个相似客户端之间的协同模型适配——是否能显著提升个性化性能，超越单客户端微调？
• RQ2 在严格隐私约束下，如何在不共享原始数据的情况下有效度量客户端相似性？
• RQ3 神经网络激活中的稀疏模式能否作为数据分布相似性的可靠且隐私保护的代理？
• RQ4 基于稀疏性聚类的分组联邦适配是否相比本地适配能带来更好的泛化性能并减少过拟合？
• RQ5 PFA在现实中的非独立同分布（non-IID）条件下（如类别不平衡和背景差异）表现如何？

主要发现

• PFA在合成数据集和现实世界模拟的联邦学习数据集上，显著优于最先进的个性化方法，包括本地微调和知识蒸馏。
• 基于稀疏性的表征可实现无需暴露原始数据的准确客户端聚类，在客户端分组中达到高相似度检测准确率。
• 与单客户端微调相比，分组内协同适配显著降低了过拟合和偏差，尤其在本地数据量较小时效果更明显。
• 该框架通过确保适配阶段不共享原始数据或模型参数，维持了强大的隐私保障。
• 实验表明，PFA在包括类别不平衡和背景变化在内的多样化非独立同分布设置下，均实现了更高的测试准确率。
• 消融研究证实，基于稀疏性的客户端分组比随机或启发式分组在个性化方面更有效。