[论文解读] Robustness Threats of Differential Privacy

Nurislam Tursynbek, Aleksandr Petiushko+1 more|arXiv (Cornell University)|Dec 14, 2020

Privacy-Preserving Technologies in Data参考文献 57被引用 4

一句话总结

本文研究了深度学习中差分隐私（DP）与模型鲁棒性之间的权衡，表明尽管DP-SGD训练能提升隐私性，但其反而会降低模型对对抗性攻击和数据噪声的鲁棒性。令人惊讶的是，在某些条件下——尤其是梯度裁剪边界较高时——DP反而可能通过噪声诱导的优化优势提升鲁棒性。

ABSTRACT

Differential privacy (DP) is a gold-standard concept of measuring and guaranteeing privacy in data analysis. It is well-known that the cost of adding DP to deep learning model is its accuracy. However, it remains unclear how it affects robustness of the model. Standard neural networks are not robust to different input perturbations: either adversarial attacks or common corruptions. In this paper, we empirically observe an interesting trade-off between privacy and robustness of neural networks. We experimentally demonstrate that networks, trained with DP, in some settings might be even more vulnerable in comparison to non-private versions. To explore this, we extensively study different robustness measurements, including FGSM and PGD adversaries, distance to linear decision boundaries, curvature profile, and performance on a corrupted dataset. Finally, we study how the main ingredients of differentially private neural networks training, such as gradient clipping and noise addition, affect (decrease and increase) the robustness of the model.

研究动机与目标

• 探究使用差分隐私（DP-SGD）训练深度神经网络是否会影响其对对抗性攻击和数据噪声的鲁棒性。
• 分析DP-SGD核心组件——梯度裁剪与噪声添加——对模型鲁棒性的影响。
• 确定隐私-鲁棒性权衡是否为根本性限制，或是否依赖于上下文（特别是不同超参数下）。
• 探索DP能否在某些条件下同时提升隐私与鲁棒性，从而挑战二者固有冲突的假设。

提出的方法

• 通过五项指标实证评估鲁棒性：FGSM与PGD攻击成功率、导致对抗性误分类的迭代次数、ℓ₂与ℓ∞范数下到决策边界的距离、曲率分布图，以及在损坏MNIST数据上的表现。
• 在MNIST上使用不同裁剪边界（C）和噪声尺度（σ）的DP-SGD训练卷积神经网络，系统测量鲁棒性与隐私的权衡。
• 通过分析梯度裁剪与噪声添加对鲁棒性变化的独立贡献，分解二者的影响。
• 采用DP-SGD算法，实施逐样本梯度裁剪并注入高斯噪声，以确保(ε, δ)-差分隐私。
• 通过截面图可视化决策边界，定性比较标准SGD与DP-SGD模型之间的几何变化。
• 分析梯度噪声（N(0, σ²C²I)）在优化过程中的作用，及其在深层网络中提升泛化性与鲁棒性的潜在机制。

实验结果

研究问题

• RQ1 使用DP-SGD训练是否降低了深度神经网络对对抗样本和常见数据噪声的鲁棒性？
• RQ2 DP-SGD的核心组件——梯度裁剪与噪声添加——如何影响模型鲁棒性？
• RQ3 在何种条件下，差分隐私反而能提升模型鲁棒性而非降低？
• RQ4 隐私-鲁棒性权衡是否为根本性限制，还是存在超参数区域可使隐私与鲁棒性共存？
• RQ5 梯度噪声强度（与C²成正比）在影响鲁棒性方面起什么作用，其与隐私预算之间如何相互作用？

主要发现

• 在大多数设置下，DP-SGD训练会降低模型对FGSM与PGD攻击的鲁棒性，且在对抗性样本上观察到显著的准确率下降。
• 在DP-SGD下，到最近邻ℓ₂与ℓ∞决策边界的距离减小，表明决策边界几何结构更脆弱。
• DP-SGD模型的曲率分布图显示局部曲率增加，暗示其决策面更敏感且更不稳定。
• 在损坏MNIST数据上的表现因DP-SGD而下降，证实其对常见噪声的鲁棒性降低。
• 当裁剪边界足够大（C = 3.0）时，FGSM鲁棒性出现意外的“平台”现象，进一步增大C反而提升鲁棒性，表明存在非单调的权衡关系。
• 高梯度噪声（来自大C）可改善鲁棒性，表明其可能带来有益的优化效应，从而抵消隐私带来的脆弱性。