[论文解读] On Bridging Generic and Personalized Federated Learning.

Hong-You Chen, Wei‐Lun Chao|arXiv (Cornell University)|Jul 2, 2021

Privacy-Preserving Technologies in Data参考文献 99被引用 6

一句话总结

本文提出 Fed-RoD，一种联邦学习框架，通过使用两个独立的预测器和损失函数，将通用模型与个性化模型的目标解耦。通过使用分布无关的损失函数训练一个稳健的通用预测器，并为每个客户端配备轻量级个性化适配器，Fed-RoD 同时在通用任务和个性化任务上实现了最先进性能，解决了联邦学习中长期存在的权衡问题。

ABSTRACT

Federated learning is promising for its ability to collaboratively train models with multiple clients without accessing their data, but vulnerable when clients' data distributions diverge from each other. This divergence further leads to a dilemma: Should we prioritize the learned model's generic performance (for future use at the server) or its personalized performance (for each client)? These two, seemingly competing goals have divided the community to focus on one or the other, yet in this paper we show that it is possible to approach both at the same time. Concretely, we propose a novel federated learning framework that explicitly decouples a model's dual duties with two prediction tasks. On the one hand, we introduce a family of losses that are robust to non-identical class distributions, enabling clients to train a generic predictor with a consistent objective across them. On the other hand, we formulate the personalized predictor as a lightweight adaptive module that is learned to minimize each client's empirical risk on top of the generic predictor. With this two-loss, two-predictor framework which we name Federated Robust Decoupling Fed-RoD, the learned model can simultaneously achieve state-of-the-art generic and personalized performance, essentially bridging the two tasks.

研究动机与目标

• 解决联邦学习中通用模型性能（服务器级效用）与个性化性能（客户端级准确率）之间的根本性权衡。
• 克服客户端之间非独立同分布（non-iid）数据分布带来的挑战，此类分布会降低模型性能并阻碍收敛。
• 开发一个统一框架，同时优化通用与个性化目标，而不会损害任一项目标。
• 使客户端在为服务器端提供稳健通用模型的同时，仍能保持个性化性能。
• 将模型学习解耦为两个独立但互补的任务：通用泛化与客户端特定适应。

提出的方法

• 引入一类鲁棒损失函数，设计为对非相同类别分布具有不变性，确保所有客户端的训练目标一致。
• 将模型解耦为两个组件：在所有客户端上使用鲁棒损失训练的共享通用预测器，以及每个客户端特定的个性化预测器。
• 将个性化预测器表述为轻量级、可训练的适配器模块，基于通用预测器进行微调，以最小化每个客户端的经验风险。
• 使用双分支损失端到端训练框架：一个用于通用性能（鲁棒损失），另一个用于个性化性能（客户端特定的经验风险）。
• 通过将通用预测器与客户端特定的数据分布变化解耦，确保其稳定且具备良好的泛化能力，同时通过模块化适应实现个性化。
• 采用双头架构，其中通用头作为基础模型，个性化头在推理或微调期间按客户端动态适配。

实验结果

研究问题

• RQ1 联邦学习框架是否能同时优化通用与个性化模型性能，而不会损害任一性能？
• RQ2 鲁棒损失函数在多大程度上可缓解因客户端间非独立同分布类别分布导致的性能下降？
• RQ3 轻量级、客户端特定的适配器在多大程度上可提升个性化准确率，同时保持共享模型的泛化能力？
• RQ4 将通用与个性化性能的训练目标解耦，是否能带来优于统一训练方法的整体性能提升？
• RQ5 在应对数据分布偏移的鲁棒性与个性化准确率方面，所提出的框架与现有方法相比表现如何？

主要发现

• Fed-RoD 在多个具有非独立同分布数据的基准数据集上，同时实现了通用任务与个性化任务的最先进性能。
• 与标准交叉熵损失相比，鲁棒损失组件在严重数据分布偏移下显著提升了通用模型的准确率。
• 个性化适配器模块使每个客户端都能实现高任务特定准确率，优于仅优化通用或个性化目标的基线方法。
• 解耦的训练框架在保持强泛化能力的同时支持细粒度个性化，有效解决了通用与个性化之间的权衡问题。
• 实证结果表明，双损失、双预测器设计相比联合优化策略，收敛更稳定，客户端性能更优。
• 轻量级适配器引入的计算开销极小，使该框架在资源受限的真实联邦学习环境中具备实用性。