[论文解读] Practical One-Shot Federated Learning for Cross-Silo Setting

Qinbin Li, Bingsheng He+1 more|arXiv (Cornell University)|Oct 2, 2020

Privacy-Preserving Technologies in Data参考文献 28被引用 7

一句话总结

本文提出 FedKT，一种适用于跨孤岛设置的实用一次性联邦学习算法，通过利用公开的未标注数据进行知识迁移，使任何分类模型均能在单轮通信中完成训练。FedKT 实现了最先进水平的准确率——相比 FedDF 等基线方法最高提升 6.5%，并支持在极小准确率损失下实现示例级与参与方级差分隐私保护，适用于现实世界中的模型市场。

ABSTRACT

Federated learning enables multiple parties to collaboratively learn a model without exchanging their data. While most existing federated learning algorithms need many rounds to converge, one-shot federated learning (i.e., federated learning with a single communication round) is a promising approach to make federated learning applicable in cross-silo setting in practice. However, existing one-shot algorithms only support specific models and do not provide any privacy guarantees, which significantly limit the applications in practice. In this paper, we propose a practical one-shot federated learning algorithm named FedKT. By utilizing the knowledge transfer technique, FedKT can be applied to any classification models and can flexibly achieve differential privacy guarantees. Our experiments on various tasks show that FedKT can significantly outperform the other state-of-the-art federated learning algorithms with a single communication round.

研究动机与目标

• 解决跨孤岛设置（如模型市场）中多轮联邦学习不切实际的问题，即参与方无法承诺重复协作。
• 克服现有单次联邦学习方法的局限性，这些方法仅适用于特定模型架构（如 SVM 或 MLP），且缺乏隐私保障。
• 开发一种通用、隐私保护的单次联邦学习框架，适用于现实部署中各类分类模型。
• 通过差分隐私知识迁移实现强隐私保护，支持示例级与参与方级隐私保障。

提出的方法

• 采用两级知识迁移框架：利用公开的未标注数据，通过多个在私有数据上训练的教师模型进行蒸馏，训练学生模型。
• 使用知识蒸馏训练全局学生模型，其中知识来源于参与方的私有模型和公开数据。
• 通过在蒸馏过程中向模型输出添加校准噪声，将差分隐私引入知识迁移过程，确保在示例和参与方两个层面的隐私保护。
• 通过将知识迁移与模型特定优化解耦，支持任意分类模型（如神经网络、决策树）。
• 通过可调噪声尺度（γ）和查询率实现隐私预算控制，支持在隐私与准确率之间进行权衡。
• 通过将 FedKT 作为 FedProx 等迭代算法的强初始化，支持扩展至多轮训练，提升通信效率。

实验结果

研究问题

• RQ1 能否设计一种单次联邦学习算法，使其适用于任意分类模型，而不仅限于 MLP 或 SVM 等特定架构？
• RQ2 如何有效将差分隐私集成到单次联邦学习框架中，以同时保护个体数据示例和整个客户端的贡献？
• RQ3 在不同隐私预算和公开数据集大小下，所提方法的准确率与隐私权衡如何？
• RQ4 FedKT 是否可作为迭代联邦学习的有效初始化方法，从而减少收敛所需的通信轮数？
• RQ5 当公开未标注数据集规模减小时，FedKT 的性能在低数据场景下是否依然稳定？

主要发现

• FedKT 在测试准确率上显著优于最先进的一次性联邦学习方法：在 MNIST 上相比 FedDF 最高提升 6.5%，相比 PNFM 提升 25%，且仅需单轮通信。
• 在 Adult 数据集上，FedKT-L1 在 ε = 2.59 与 δ = 10⁻⁵ 下达到 77.6% 的准确率，接近非私有基线的 82.4%。
• 即使仅使用 20% 的公开数据集，FedKT 仍保持高性能：cod-rna 数据集准确率下降不足 1%，MNIST 数据集下降约 2%，表明对小规模公开数据具有鲁棒性。
• 在适度隐私预算（ε < 10）下，FedKT 的差分隐私版本（FedKT-L1/L2）与非私有版本相比准确率相当，仅出现轻微下降。
• 通过 FedKT-Prox 扩展至多轮训练后，方法仅用 11 轮即达到 87% 的准确率，优于其他方法（至少需要 32 轮）。
• FedKT 是首个支持任意分类模型且在示例与参与方两个层面均提供正式隐私保障的一次性联邦学习框架。