[论文解读] Three Approaches for Personalization with Applications to Federated Learning

Yishay Mansour, Mehryar Mohri+2 more|arXiv (Cornell University)|Feb 25, 2020

Privacy-Preserving Technologies in Data参考文献 55被引用 320

一句话总结

该论文为联邦学习中的个性化建立一个学习理论框架，并分析三种实际方法——用户聚类、数据插值和模型插值——给出保证和高效算法，以及经验验证。

ABSTRACT

The standard objective in machine learning is to train a single model for all users. However, in many learning scenarios, such as cloud computing and federated learning, it is possible to learn a personalized model per user. In this work, we present a systematic learning-theoretic study of personalization. We propose and analyze three approaches: user clustering, data interpolation, and model interpolation. For all three approaches, we provide learning-theoretic guarantees and efficient algorithms for which we also demonstrate the performance empirically. All of our algorithms are model-agnostic and work for any hypothesis class.

研究动机与目标

• 将个性化作为 FL 中仅本地模型或全局模型之间的中间替代方案的动机。
• 为每种个性化方法提供学习理论保证（泛化界）。
• 为聚类、数据插值和模型插值开发高效、适合通信与计算资源的算法。
• 在合成数据和 EMNIST 数据集上展示经验性能提升。

提出的方法

• 提出三种正交的个性化策略：用户聚类（HypCluster）、数据插值（Dapper）和模型插值（Mapper）。
• 对于聚类，定义基于假设的聚类并推导泛化界；将 HypCluster 作为一种 EM 型随机算法。
• 对于数据插值，建立本地数据与聚类/全局数据之间的 lambda 加权数据混合，并推导泛化保证；在强凸性条件下引入 Dapper，且具备可证明的收敛性。
• 对于模型插值，学习中心模型和本地模型，并在客户端之间优化插值预测；给出对经验损失和真实损失的理论界限（Theorem 6.1 与 Corollaries）。
• 提供效率分析，聚焦通信成本、隐私考量以及在 FL 设置中的可扩展性。

实验结果

研究问题

• RQ1 在保持通信效率的同时，如何通过介于本地与全局之间的中间模型来实现个性化？
• RQ2 基于聚类、数据插值和模型插值的个性化策略有哪些泛化保证？
• RQ3 如何设计在 FL 约束和数据异质性下表现良好的可扩展算法？
• RQ4 这些方法在现实的联邦数据集中能带来哪些经验提升？

主要发现

• 三种个性化方法为 FL 提供了理论泛化保证和实际算法。
• HypCluster（用户聚类）提供了有利的泛化界和强大的经验性能，特别是在聚类数量较少时。
• 数据插值（Dapper）在本地和全局数据之间的可调 lambda 下实现高效通信和可证明的收敛性。
• 模型插值（Mapper）在中心模型与本地模型之间的有原则性的插值下提供具有竞争力的性能及相应界。
• 在 EMNIST 实验中，使用两个聚类的 HypCluster 显著优于 FedAvg 和 Agnostic 基线，准确率提升至少 4.3%；Dapper/Mapper 变体进一步提升约 1%。