[论文解读] Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy

Xinwei Zhang, Xiangyi Chen+3 more|arXiv (Cornell University)|Jun 25, 2021

Privacy-Preserving Technologies in Data参考文献 30被引用 23

一句话总结

本文对联邦学习（FL）中客户端级别的差分隐私（DP）的模型裁剪进行了首次严谨的理论与实证分析。结果表明，差异裁剪优于模型裁剪，并且神经网络架构显著影响裁剪性能——深层、结构化模型能集中客户端更新，减轻隐私噪声的影响，从而在最小化准确率下降的前提下实现强大的DP保证。

ABSTRACT

Providing privacy protection has been one of the primary motivations of Federated Learning (FL). Recently, there has been a line of work on incorporating the formal privacy notion of differential privacy with FL. To guarantee the client-level differential privacy in FL algorithms, the clients' transmitted model updates have to be clipped before adding privacy noise. Such clipping operation is substantially different from its counterpart of gradient clipping in the centralized differentially private SGD and has not been well-understood. In this paper, we first empirically demonstrate that the clipped FedAvg can perform surprisingly well even with substantial data heterogeneity when training neural networks, which is partly because the clients' updates become similar for several popular deep architectures. Based on this key observation, we provide the convergence analysis of a differential private (DP) FedAvg algorithm and highlight the relationship between clipping bias and the distribution of the clients' updates. To the best of our knowledge, this is the first work that rigorously investigates theoretical and empirical issues regarding the clipping operation in FL algorithms.

研究动机与目标

• 理解裁剪对联邦学习（FL）中收敛性和隐私的影响，尤其是在客户端级别差分隐私（DP）的设置下。
• 探究尽管存在数据异构性和高隐私预算，裁剪后的FedAvg为何仍表现良好。
• 建立一个理论基础，连接裁剪偏差、客户端更新分布与DP增强联邦学习中的收敛性。
• 从优化性能和隐私保证的角度，比较模型裁剪与差异裁剪策略。

提出的方法

• 提出一种DP-FedAvg算法，在添加噪声以实现客户端级别DP保证之前，对客户端模型更新进行裁剪。
• 引入差异裁剪，即裁剪本地模型与全局模型更新之间的差值，而非完整模型更新。
• 对DP-FedAvg进行收敛性分析，推导出依赖于客户端更新分布和裁剪偏差的边界。
• 利用理论框架表明，当客户端更新集中时，裁剪偏差最小化，这种情况在深层架构中更可能出现。
• 在多种神经网络架构（MLP、AlexNet、ResNet-18、MobileNetV2）上，于EMNIST和CIFAR-10数据集上，针对不同隐私预算进行裁剪性能的实证评估。
• 将裁剪阈值设定为本地更新幅度平均值的50%，并在所有实验中固定隐私预算δ=10−5。

实验结果

研究问题

• RQ1 裁剪如何影响DP增强的FedAvg的收敛性和优化性能？
• RQ2 为何在数据高度异构和强隐私约束下，裁剪后的FedAvg仍表现良好？
• RQ3 客户端更新的分布与裁剪在联邦学习中有效性的关系是什么？
• RQ4 从准确率和隐私保证的角度，模型裁剪与差异裁剪策略有何差异？
• RQ5 在DP约束下，哪些神经网络架构对裁剪引起的性能下降最具鲁棒性？

主要发现

• 在强隐私预算下，差异裁剪在收敛性和准确率方面显著优于模型裁剪。
• 具有结构化组件（如卷积层、跳跃连接）的神经网络会产生更集中的客户端更新，从而减少裁剪偏差并提升性能。
• 在EMNIST上，ResNet-18在ε=5时，DP-FedAvg相比FedAvg仅出现3.76%的准确率下降，表明对隐私噪声具有极强的鲁棒性。
• 在CIFAR-10上，MLP在ε=1.5时裁剪下准确率下降7.39%，但在DP设置下仅额外下降0.90%，表明噪声影响在合理裁剪下可管理。
• 理论分析证实，当客户端更新分布紧密时，裁剪偏差最小化，而深层、结构良好的模型更可能实现这种分布。
• 更大的模型（如ResNet-18）由于维度更高且Lipschitz常数更大，对隐私噪声更敏感，但结构化设计可有效缓解此影响。