[论文解读] Provable Defense against Privacy Leakage in Federated Learning from Representation Perspective

Jingwei Sun, Ang Li+4 more|arXiv (Cornell University)|Dec 8, 2020

Privacy-Preserving Technologies in Data参考文献 4被引用 9

一句话总结

本文将联邦学习（FL）中隐私泄露的根本原因归因于模型梯度中的数据表示泄露，提出一种新颖的防御方法，通过扰动数据表示来降低重建数据的质量，同时保持联邦学习模型的准确性。该方法在DLG和GS攻击下使重建数据与原始数据之间的均方误差（MSE）提升160倍，且为FedAvg提供了经认证的鲁棒性与收敛性保证。

ABSTRACT

Federated learning (FL) is a popular distributed learning framework that can reduce privacy risks by not explicitly sharing private data. However, recent works demonstrated that sharing model updates makes FL vulnerable to inference attacks. In this work, we show our key observation that the data representation leakage from gradients is the essential cause of privacy leakage in FL. We also provide an analysis of this observation to explain how the data presentation is leaked. Based on this observation, we propose a defense against model inversion attack in FL. The key idea of our defense is learning to perturb data representation such that the quality of the reconstructed data is severely degraded, while FL performance is maintained. In addition, we derive certified robustness guarantee to FL and convergence guarantee to FedAvg, after applying our defense. To evaluate our defense, we conduct experiments on MNIST and CIFAR10 for defending against the DLG attack and GS attack. Without sacrificing accuracy, the results demonstrate that our proposed defense can increase the mean squared error between the reconstructed data and the raw data by as much as more than 160X for both DLG attack and GS attack, compared with baseline defense methods. The privacy of the FL system is significantly improved.

研究动机与目标

• 识别联邦学习中仅共享模型更新时隐私泄露的根本原因，特别是通过模型梯度导致的数据表示泄露。
• 开发一种防御机制，降低重建数据质量，同时保持联邦学习模型的实用性。
• 为应用该防御的FedAvg提供经认证的鲁棒性与收敛性保证。
• 在MNIST和CIFAR10数据集上，通过实证验证该防御对最先进攻击（DLG和GS）的有效性。

提出的方法

• 该防御通过扰动全连接（FC）层中的数据表示，使从梯度中重建的数据不可识别，同时保持模型性能。
• 扰动被优化以在保持与真实数据表示相似性（以保障联邦学习实用性）的同时，最大化重建数据之间的差异性。
• 通过分析扰动对基于梯度的逆向攻击的影响，推导出经认证的鲁棒性。
• 理论上保证了在该防御下FedAvg的收敛性，确保训练稳定性。
• 避免对卷积层进行扰动，以保留特征提取能力。
• 该防御基于表示敏感度对全连接层参数进行结构化剪枝，而非随机或全局剪枝。

实验结果

研究问题

• RQ1 当仅共享模型更新时，联邦学习中隐私泄露的根本原因是什么？
• RQ2 类别级别的数据表示如何嵌入模型梯度中，并支持模型逆向攻击？
• RQ3 能否通过数据表示扰动有效降低重建质量，同时不损害联邦学习模型的准确性？
• RQ4 在应用此类防御时，可提供哪些关于鲁棒性与收敛性的理论保证？
• RQ5 在真实攻击下，该防御与现有方法相比在隐私-效用权衡方面表现如何？

主要发现

• 在训练过程中，推断出的数据表示与真实数据表示之间的相关性达到0.99，证实了表示泄露是核心漏洞。
• 与基线防御相比，该防御在DLG和GS攻击下使重建图像与原始图像之间的均方误差（MSE）提升超过160倍。
• 模型准确率在防御下保持不变，而基线方法在达到相似隐私水平时准确率最高下降9%。
• 即使在MSE值超过0.8（此时重建图像对人类已不可识别）时，该防御仍保持高实用性，优于基线剪枝方法。
• 通过实证验证了FedAvg的收敛性，证实了在该防御下理论收敛保证的有效性。
• 感知评估显示，当剪枝率达到50–60%时，该防御下的重建图像已不可识别，而GC防御在80%剪枝率下仍能生成可识别图像。