[论文解读] Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks

Lixin Fan, Kam Woh Ng+5 more|arXiv (Cornell University)|Jun 20, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用 6

一句话总结

本文提出了一种新型的保密极化网络（SPN），通过击败重建攻击、追踪攻击和成员身份推断攻击，增强联邦学习中的隐私保护。通过将重建攻击建模为求解带噪声的线性方程组并破坏一个关键条件，SPN 在强攻击条件下仍能实现比基线方法高5%–20%的模型准确率，同时确保隐私保护。

ABSTRACT

This paper investigates capabilities of Privacy-Preserving Deep Learning (PPDL) mechanisms against various forms of privacy attacks. First, we propose to quantitatively measure the trade-off between model accuracy and privacy losses incurred by reconstruction, tracing and membership attacks. Second, we formulate reconstruction attacks as solving a noisy system of linear equations, and prove that attacks are guaranteed to be defeated if condition (2) is unfulfilled. Third, based on theoretical analysis, a novel Secret Polarization Network (SPN) is proposed to thwart privacy attacks, which pose serious challenges to existing PPDL methods. Extensive experiments showed that model accuracies are improved on average by 5-20% compared with baseline mechanisms, in regimes where data privacy are satisfactorily protected.

研究动机与目标

• 客观评估隐私保护深度学习（PPDL）机制在多种攻击类型（包括重建攻击、追踪攻击和成员身份推断攻击）下的表现。
• 利用隐私保护特征曲线（PPC曲线）和校准平均性能（CAP）指标，量化模型效用（准确率）与隐私损失之间的权衡。
• 解决现有PPDL方法（如差分隐私和梯度稀疏化）的局限性，这些方法尽管具有较强的理论隐私保证，却仍无法防止高保真度的数据重建。
• 设计一种新型防御机制——保密极化网络（SPN），通过自适应、秘密的梯度调制，同时提升模型准确率并抵御多种隐私攻击。
• 从理论上证明，若定理2.1中的条件（2）被破坏，则重建攻击必然失败，为评估PPDL鲁棒性提供了新基础。

提出的方法

• 将重建攻击建模为求解带噪声的线性方程组，从而支持对攻击可行性的理论分析。
• 引入极化损失项，对模型训练进行正则化，提升泛化能力，在不损害隐私的前提下提高准确率。
• 提出保密极化网络（SPN），在联邦训练过程中向共享梯度添加逐元素、自适应且秘密的梯度。
• 采用校准的评估协议，利用CAP得分客观比较不同PPDL机制在隐私-效用权衡上的表现。
• 验证定理2.1中的理论条件（2），表明违反该条件可确保重建攻击失败。
• 使用合成数据和真实世界数据集（CIFAR10、CIFAR100、SVHN、MNIST）评估在不同攻击批量大小和隐私预算下的性能表现。

实验结果

研究问题

• RQ1 我们能否客观量化在重建攻击、追踪攻击和成员身份推断攻击下，PPDL中模型准确率与隐私损失之间的权衡？
• RQ2 现有PPDL方法（如差分隐私和梯度稀疏化）在多大程度上无法防止训练数据的像素级重建？
• RQ3 能否设计一种新型防御机制，同时提升模型准确率并抵御多种类型的隐私攻击？
• RQ4 在深度学习设置中，必须破坏何种理论条件才能确保重建攻击失败？
• RQ5 SPN中位数的增加如何影响保护强度和模型效用？

主要发现

• 所提出的SPN机制在等效隐私保护水平下，相较于基线PPDL方法和差分隐私方法，平均提升了5%–20%的模型准确率。
• SPN在所有数据集上的校准平均性能（CAP）得分均高于DP-0.1和PPDL-0.05，表明其具有更优的隐私-效用权衡。
• 在100个客户端的CIFAR10数据集上，F-SPN-0.1在测试准确率上相比DP-0.1提升了25%，同时保持了相近的隐私保证。
• 理论分析证明，若定理2.1中的条件（2）被破坏，则重建攻击必然失败，为评估PPDL鲁棒性提供了新标准。
• 将SPN中的位数从32位增加到128位，显著提升了||B_I||/||E_B||的比值，并增强了保护强度（rMSE），表明位精度与隐私鲁棒性之间存在直接关联。
• 将高斯噪声替换为拉普拉斯噪声后，保护强度和||B_I||/||E_B||比值几乎保持不变，表明在相同尺度下，两种噪声类型具有相似的有效性。