[论文解读] On the Convergence of Clustered Federated Learning

Jie Ma, Guodong Long+3 more|arXiv (Cornell University)|Feb 13, 2022

Privacy-Preserving Technologies in Data被引用 25

一句话总结

重新审视聚簇联邦学习，提出一个双层优化框架，引入 WeCFL，并在可聚类的非IID 数据下给出收敛保证。

ABSTRACT

Knowledge sharing and model personalization are essential components to tackle the non-IID challenge in federated learning (FL). Most existing FL methods focus on two extremes: 1) to learn a shared model to serve all clients with non-IID data, and 2) to learn personalized models for each client, namely personalized FL. There is a trade-off solution, namely clustered FL or cluster-wise personalized FL, which aims to cluster similar clients into one cluster, and then learn a shared model for all clients within a cluster. This paper is to revisit the research of clustered FL by formulating them into a bi-level optimization framework that could unify existing methods. We propose a new theoretical analysis framework to prove the convergence by considering the clusterability among clients. In addition, we embody this framework in an algorithm, named Weighted Clustered Federated Learning (WeCFL). Empirical analysis verifies the theoretical results and demonstrates the effectiveness of the proposed WeCFL under the proposed cluster-wise non-IID settings.

研究动机与目标

• 激励在联邦学习中进行聚簇级非IID建模，以在个性化与泛化之间取得平衡。
• 将现有聚簇化FL方法统一到一个双层优化框架下。
• 提出一种新颖的加权聚簇联邦学习（WeCFL）算法。
• 构建一个理论收敛框架，结合聚簇可聚性度量和加权聚类。

提出的方法

• 用模型参数来表示每个客户端，并在参数空间中使用欧氏距离来衡量相似性。
• 将聚簇化FL表述为一个双层优化问题：上层的FL目标和下层的聚类目标。
• 开发 WeCFL 算法，交替进行基于 EM 的聚类步骤和聚簇级的 FedAvg 风格聚合。
• 将客户端重要性权重纳入聚类和聚合，以使之与 FL 损失对齐。
• 给出收敛分析，给出在适当学习率下 WeCFL 收敛的条件，并实现 1/T 的收敛率。

实验结果

研究问题

• RQ1 如何以原理性的方式定义和衡量联邦学习客户端之间的聚簇性？
• RQ2 在存在聚簇的非IID数据下，聚簇化FL 能否被分析并保证收敛？
• RQ3 相较于现有的聚簇化FL 方法，加权聚类方法是否能够提升性能和收敛性？
• RQ4 聚簇数量 K 与数据异质性对收敛性和性能有何影响？

主要发现

• WeCFL 在 Fashion-MNIST 和 CIFAR-10 的聚簇级非IID设置下，优于基线FL和多种聚簇FL 方法。
• WeCFL 在 CIFAR-10 的（3,2）类非IID设置下的实验中收敛速度快于 IFCA 和 FeSEM。
• 聚类结果显示簇间相异性高、簇内相似度低，表明聚类效果良好。
• 理论分析给出 WeCFL 收敛的条件，并在合适的学习率下显示出1/T 收敛率。