[论文解读] Secure Federated Clustering

Songze Li, Sizai Hou+2 more|arXiv (Cornell University)|May 31, 2022

Privacy-Preserving Technologies in Data被引用 8

一句话总结

本文提出 SecFC，一种安全联邦聚类算法，可在确保信息论隐私的前提下，实现与集中式 k-means 聚类完全一致的通用性能。该方法利用拉格朗日编码数据共享与编码数据上的安全计算，实现精确的 Lloyd 算法执行，而不会向服务器或合谋客户端泄露客户端数据或聚类中心信息。

ABSTRACT

We consider a foundational unsupervised learning task of $k$-means data clustering, in a federated learning (FL) setting consisting of a central server and many distributed clients. We develop SecFC, which is a secure federated clustering algorithm that simultaneously achieves 1) universal performance: no performance loss compared with clustering over centralized data, regardless of data distribution across clients; 2) data privacy: each client's private data and the cluster centers are not leaked to other clients and the server. In SecFC, the clients perform Lagrange encoding on their local data and share the coded data in an information-theoretically private manner; then leveraging the algebraic structure of the coding, the FL network exactly executes the Lloyd's $k$-means heuristic over the coded data to obtain the final clustering. Experiment results on synthetic and real datasets demonstrate the universally superior performance of SecFC for different data distributions across clients, and its computational practicality for various combinations of system parameters. Finally, we propose an extension of SecFC to further provide membership privacy for all data points.

研究动机与目标

• 解决现有联邦聚类方法在客户端数据分布非均匀时的性能下降问题。
• 克服当前先进方法（如 k-FED）中的隐私泄露问题，即聚类中心和数据分布会暴露给服务器。
• 在合谋客户端与好奇服务器的威胁模型下，实现客户端数据与聚类中心的信息论隐私保护。
• 将框架扩展以保护成员身份隐私——隐藏哪个客户端拥有哪条数据点，且不牺牲性能或安全性。
• 在不同系统参数下，通过合成数据集与真实世界数据集，验证方法的计算实用性与鲁棒性。

提出的方法

• 客户端对其本地数据应用拉格朗日多项式编码，将数据与随机噪声混合，生成编码数据分片。
• 使用秘密共享机制，将编码后的数据分片安全地分发至所有客户端，确保单个客户端或服务器均无法重构原始数据。
• 系统利用拉格朗日编码的代数结构，使每个客户端能够本地计算聚类中心与数据点之间距离的秘密共享。
• 服务器聚合足够多的秘密共享，以重建成对距离，而无需获知数据点或聚类中心的实际值。
• Lloyd 算法以与集中式 k-means 完全相同的方式执行，仅依赖重建后的距离进行聚类中心更新。
• 扩展版本集成私有集合交集（PSU）协议，对齐客户端间的数据点 ID，通过隐藏数据所有权实现成员身份隐私保护。

实验结果

研究问题

• RQ1 联邦 k-means 聚类算法是否能在任意客户端数据分布下，实现与集中式 Lloyd 算法完全相同的性能？
• RQ2 在联邦聚类设置中，能否实现客户端数据与聚类中心的信息论隐私保护？
• RQ3 所提方法在任意数据分布及不同本地聚类数量下，是否能保持高性能与强隐私性？
• RQ4 是否可能进一步保护成员身份隐私——即隐藏哪个客户端拥有哪条数据点——而不影响聚类准确率或安全性？
• RQ5 在不同系统配置与真实世界数据集下，该方法在通信与计算方面的可扩展性如何？

主要发现

• SecFC 实现的聚类性能在任意数据分布或每个客户端的本地聚类数下，均与集中式 Lloyd 算法完全一致。
• 与 k-FED 不同，当每个客户端的本地聚类数接近全局 k 时，k-FED 性能显著下降，而 SecFC 的性能对这类变化保持不变。
• 在 MNIST 数字聚类任务中，SecFC 即使在 k′ = k 的情况下，也始终优于 k-FED 并与集中式基线完全匹配。
• 该方法实现了信息论隐私：任何客户端或服务器均无法重构原始数据点或聚类中心。
• 集成私有 ID 对齐的扩展版 SecFC 成功隐藏了数据所有权，确保了成员身份隐私，同时保持了聚类准确率。
• 实验结果证实，SecFC 在不同客户端数量、数据规模与聚类数等各类系统参数下均具备计算实用性。