[论文解读] Self-Aware Personalized Federated Learning

Huili Chen, Jie Ding+5 more|arXiv (Cornell University)|Apr 17, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种新型框架——自感知个性化联邦学习（Self-FL），通过贝叶斯层次模型中的不确定性量化，自动平衡本地个性化与全局模型聚合。通过从客户端间和客户端内不确定性推导出客户端特定的训练步数与聚合规则，Self-FL 在无需超参数调优的情况下，实现了优于 FedAvg、DITTO 和 PerFedAvg 的个性化性能，在合成数据、MNIST、FEMNIST、CIFAR10、Sent140 和真实世界 Alexa 音频数据上表现优异。

ABSTRACT

In the context of personalized federated learning (FL), the critical challenge is to balance local model improvement and global model tuning when the personal and global objectives may not be exactly aligned. Inspired by Bayesian hierarchical models, we develop a self-aware personalized FL method where each client can automatically balance the training of its local personal model and the global model that implicitly contributes to other clients' training. Such a balance is derived from the inter-client and intra-client uncertainty quantification. A larger inter-client variation implies more personalization is needed. Correspondingly, our method uses uncertainty-driven local training steps and aggregation rule instead of conventional local fine-tuning and sample size-based aggregation. With experimental studies on synthetic data, Amazon Alexa audio data, and public datasets such as MNIST, FEMNIST, CIFAR10, and Sent140, we show that our proposed method can achieve significantly improved personalization performance compared with the existing counterparts.

研究动机与目标

• 为解决在本地与全局目标不一致时，个性化联邦学习中本地模型个性化与全局模型聚合之间的平衡挑战。
• 开发一种方法，基于统计不确定性而非启发式或基于大小的规则，自动适应训练与聚合过程。
• 建立个性化联邦学习与贝叶斯层次建模之间的理论联系，以提升理论与实证性能。
• 通过为每个客户端内置自动调优机制，减少对超参数调优的依赖，从而降低联邦学习开发者的使用门槛。
• 在多样化数据分布上评估该方法，包括来自 Amazon Alexa 设备的真实世界非独立同分布（non-IID）音频数据。

提出的方法

• 该方法基于两级贝叶斯层次模型，其中客户端间不确定性捕捉客户端之间的分布差异，而客户端内不确定性则建模本地数据的变异性。
• Self-FL 使用基于不确定性的本地训练步数，根据客户端的数据异质性与不确定性估计自适应调整。
• 聚合规则基于不确定性量化推导，取代传统的基于样本数量的加权方式，采用更具统计合理性的方法。
• 提出了一种实用的深度学习版本 Self-FL，在保持与 FedAvg 相同通信与计算开销的同时，提升了个性化性能。
• 该框架自动为每个客户端调优特定训练过程，无需手动调整超参数，从而减轻开发人员负担。
• 为层次模型设定提供了理论收敛性证明，为自适应机制提供了分析基础。

实验结果

研究问题

• RQ1 在联邦学习中，个性化性能的理论上限是什么？如何通过不确定性量化逼近该上限？
• RQ2 如何有效利用全局模型作为中介，在不共享原始数据的前提下，在客户端之间传递有用信息？
• RQ3 如何根据客户端间数据分布差异，自适应地校准本地训练与模型聚合？
• RQ4 在非独立同分布（non-IID）设置下，不确定性量化能否替代启发式或基于大小的聚合规则，以提升个性化性能？
• RQ5 如何在无需手动配置超参数的情况下，实现个性化联邦学习的客户端级自动调优？

主要发现

• 在设备类型 A 上，Self-FL 达到了最低的相对误报率（0.92），并在所有设备类型的全局模型评估中持续优于所有基线方法。
• 在个性化模型性能方面，Self-FL 在各设备类型上的相对 FA 值为 0.90–0.99，显著优于 FedAvg-e（0.95–0.98）、DITTO-e（0.96–0.96）和 PerFedAvg（1.02–1.11）。
• 基于样本数量的聚合方法（FedAvg-w 和 DITTO-w）导致全局模型性能下降，相对 FA 值高达 12.80，表明在高数据异质性下，基于大小的加权方法会失效。
• 消融实验表明，Self-FL 即使在客户端采样条件下仍保持强劲性能，证明了其在真实联邦学习场景中的鲁棒性。
• Self-FL 在真实世界 Alexa 音频数据上实现了卓越的个性化性能，该数据因口音、噪声和设备特定特性导致数据分布高度非独立同分布。
• 据我们所知，Self-FL 是首个正式将个性化联邦学习与层次建模相连接，并利用不确定性量化驱动自适应训练与聚合的方案。