[论文解读] Towards Federated Clustering: A Federated Fuzzy $c$-Means Algorithm (FFCM)

Morris Stallmann, Anna Wilbik|arXiv (Cornell University)|Jan 18, 2022

Human Mobility and Location-Based AnalysisSocial Sciences被引用 19

一句话总结

本文提出了一种联邦模糊c-均值（FFCM）算法，用于在保护数据隐私的前提下对去中心化客户端的数据进行聚类。该方法引入了两种聚合方法——联邦平均法与k-均值平均法，并证明在非独立同分布（non-i.i.d.）数据条件下，k-均值平均法在识别准确的全局聚类中心方面优于标准平均法，尽管计算成本更高。

ABSTRACT

Federated Learning (FL) is a setting where multiple parties with distributed data collaborate in training a joint Machine Learning (ML) model while keeping all data local at the parties. Federated clustering is an area of research within FL that is concerned with grouping together data that is globally similar while keeping all data local. We describe how this area of research can be of interest in itself, or how it helps addressing issues like non-independently-identically-distributed (i.i.d.) data in supervised FL frameworks. The focus of this work, however, is an extension of the federated fuzzy $c$-means algorithm to the FL setting (FFCM) as a contribution towards federated clustering. We propose two methods to calculate global cluster centers and evaluate their behaviour through challenging numerical experiments. We observe that one of the methods is able to identify good global clusters even in challenging scenarios, but also acknowledge that many challenges remain open.

研究动机与目标

• 解决在去中心化客户端之间聚类全局相似数据的同时保护数据隐私的挑战。
• 将模糊c-均值聚类算法扩展至联邦学习（FL）环境，实现在不集中数据的情况下进行无监督学习。
• 评估并比较两种聚合策略——联邦平均法与k-均值平均法——在联邦环境中计算全局聚类中心的性能。
• 在具有不同维度和聚类重叠度的合成非独立同分布数据集上，评估所提出的FFCM框架的性能。
• 识别联邦聚类中的开放挑战，包括聚类数量估计与初始化问题，并推动该新兴领域进一步研究。

提出的方法

• FFCM协议遵循标准联邦学习流程：客户端选择、模型广播、本地计算、聚合与模型更新。
• 每个客户端在其私有数据上执行本地模糊c-均值聚类，生成本地聚类中心与隶属度。
• 提出两种聚合方法：(1) 标准联邦平均法（avg₁）与(2) k-均值平均法（avg₂），其中全局中心通过在本地中心上应用k-均值算法计算得出。
• k-均值平均法将本地聚类中心视为数据点，并重新聚类以推导出更鲁棒的全局中心。
• 该算法迭代执行直至收敛，每轮将全局模型更新共享给各客户端。
• 在具有不同维度与标准差的合成G2基准数据集上，使用知识差距与外部平方误差和（SSE）指标评估性能。

实验结果

研究问题

• RQ1 联邦模糊c-均值算法是否能在不集中数据的情况下有效识别全局聚类中心？
• RQ2 在非独立同分布数据设置下，不同的聚合策略——联邦平均法与k-均值平均法——如何影响全局聚类准确度？
• RQ3 FFCM的性能在数据维度增加与聚类重叠程度上升时，会退化到何种程度？
• RQ4 在聚类中心恢复与知识差距方面，联邦FFCM与非联邦模糊c-均值相比表现如何？
• RQ5 联邦聚类中的关键开放挑战，如聚类数量估计与初始化问题，目前仍存在哪些未解决的难题？

主要发现

• k-均值平均法（avg₂）在识别准确的全局聚类中心方面始终优于标准联邦平均法（avg₁），尤其是在高重叠与高维场景下。
• avg₂在第75百分位数的知识差距为30.38，而avg₁为30.33，表明其在检测真实聚类结构方面具有相当或略优的性能。
• 联邦与非联邦模糊c-均值在所有测试集上均实现了相似的聚类中心收敛，证实了联邦方法的可行性。
• 随着标准差增加（即聚类重叠更高）与维度增加，性能出现下降，表现为知识差距上升与基于SSE的分离度降低。
• 最大知识差距分别为：非联邦99.80，avg₁为99.24，avg₂为95.55，表明avg₂在极端情况下能有效降低误差。
• 尽管实证结果表现强劲，但该方法假设聚类数量已知，且未对模糊性参数m进行系统性评估。