[论文解读] Performance Analysis on Federated Learning with Differential Privacy

Kang Wei, Jun Li+7 more|arXiv (Cornell University)|Nov 1, 2019

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出NbAFL，一种联邦学习框架，通过在聚合前向客户端模型参数添加人工噪声来增强隐私性，确保差分隐私。该框架建立了理论收敛边界，揭示了隐私与性能之间的权衡、最优客户端参与水平以及最优通信轮数，仿真结果验证了其有效性。

ABSTRACT

In this paper, to effectively prevent information leakage, we propose a novel framework based on the concept of differential privacy (DP), in which artificial noises are added to the parameters at the clients side before aggregating, namely, noising before model aggregation FL (NbAFL). First, we prove that the NbAFL can satisfy DP under distinct protection levels by properly adapting different variances of artificial noises. Then we develop a theoretical convergence bound of the loss function of the trained FL model in the NbAFL. Specifically, the theoretical bound reveals the following three key properties: 1) There is a tradeoff between the convergence performance and privacy protection levels, i.e., a better convergence performance leads to a lower protection level; 2) Given a fixed privacy protection level, increasing the number $N$ of overall clients participating in FL can improve the convergence performance; 3) There is an optimal number of maximum aggregation times (communication rounds) in terms of convergence performance for a given protection level. Furthermore, we propose a $K$-random scheduling strategy, where $K$ ($1<K<N$) clients are randomly selected from the $N$ overall clients to participate in each aggregation. We also develop the corresponding convergence bound of the loss function in this case and the $K$-random scheduling strategy can also retain the above three properties. Moreover, we find that there is an optimal $K$ that achieves the best convergence performance at a fixed privacy level. Evaluations demonstrate that our theoretical results are consistent with simulations, thereby facilitating the designs on various privacy-preserving FL algorithms with different tradeoff requirements on convergence performance and privacy levels.

研究动机与目标

• 为通过引入具备正式差分隐私保证的隐私保护框架来解决联邦学习中的信息泄露问题。
• 分析联邦学习中模型收敛性能与隐私保护水平之间的权衡关系。
• 在固定隐私约束下，识别客户端参与和通信轮数的最优配置，以实现最大收敛性能。
• 提出并分析一种K-随机调度策略，该策略在保持隐私性和收敛性的同时，提升实际部署的灵活性。

提出的方法

• 提出NbAFL，一种新颖的联邦学习框架，其中在客户端侧对模型参数添加人工噪声后再进行聚合，以确保差分隐私。
• 推导NbAFL下损失函数的理论收敛边界，揭示隐私与收敛性能之间的权衡关系。
• 引入K-随机调度策略，即每轮通信中从N个总客户端中随机选择K个客户端参与，以提升可扩展性和隐私性。
• 建立K-随机调度变体的理论收敛边界，表明其保留了与完整客户端NbAFL相同的关键特性。
• 通过人工噪声方差的自适应调整实现不同的差分隐私水平，形式化为DP保证。
• 分析N（总客户端数）、K（选中客户端数）以及通信轮数对收敛性和隐私的影响。

实验结果

研究问题

• RQ1 如何在不损害模型收敛性的前提下，有效将差分隐私集成到联邦学习中？
• RQ2 在差分隐私联邦学习中，隐私保护水平与收敛性能之间的权衡关系是什么？
• RQ3 在固定隐私预算下，参与客户端数量（N）如何影响收敛性能？
• RQ4 是否存在一个最优通信轮数，可在给定隐私水平下最大化收敛性能？
• RQ5 在K-随机调度中，实现固定隐私水平下最佳收敛性能的最优K值是多少？

主要发现

• NbAFL通过在客户端侧仔细校准人工噪声的方差，满足差分隐私要求。
• 收敛性能与隐私保护之间存在权衡：隐私水平越高，收敛性能越差，反之亦然。
• 在固定隐私水平下，增加总客户端数（N）可提升收敛性能。
• 对于给定隐私水平，存在一个最优通信轮数，可使收敛性能达到最大。
• K-随机调度策略保留了NbAFL的三个关键特性，并识别出在固定隐私水平下实现最佳收敛性能的最优K值。
• 仿真结果证实，理论收敛边界与实际性能高度吻合，验证了理论分析的正确性。