[论文解读] One Parameter Defense -- Defending against Data Inference Attacks via Differential Privacy

Dayong Ye, Sheng Shen+3 more|arXiv (Cornell University)|Mar 13, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种时间效率高的差分隐私防御机制，通过使用单一隐私预算参数对置信度分数向量进行扰动，有效抵御成员推理攻击和模型反演攻击。该方法通过基于指数机制的噪声注入，在保持分数顺序的同时模糊成员身份和重建信息，从而保护分类准确率。

ABSTRACT

Machine learning models are vulnerable to data inference attacks, such as membership inference and model inversion attacks. In these types of breaches, an adversary attempts to infer a data record's membership in a dataset or even reconstruct this data record using a confidence score vector predicted by the target model. However, most existing defense methods only protect against membership inference attacks. Methods that can combat both types of attacks require a new model to be trained, which may not be time-efficient. In this paper, we propose a differentially private defense method that handles both types of attacks in a time-efficient manner by tuning only one parameter, the privacy budget. The central idea is to modify and normalize the confidence score vectors with a differential privacy mechanism which preserves privacy and obscures membership and reconstructed data. Moreover, this method can guarantee the order of scores in the vector to avoid any loss in classification accuracy. The experimental results show the method to be an effective and timely defense against both membership inference and model inversion attacks with no reduction in accuracy.

研究动机与目标

• 为应对机器学习中日益增长的数据推理攻击威胁，特别是针对置信度分数向量的攻击。
• 开发一种能同时抵御成员推理攻击和模型反演攻击的防御机制，而大多数现有方法无法实现这一点。
• 提供一种时间效率高的解决方案，无需重新训练目标模型，与先前方法不同。
• 在通过单一可调参数——隐私预算——最大化隐私保护的同时，确保分类准确率不受影响。
• 为已训练模型提供一种实用且可部署的防御方案，尤其适用于现实世界应用中无法重新训练的场景。

提出的方法

• 该方法使用指数机制对置信度分数向量应用差分隐私，以实现分数的扰动与归一化。
• 仅通过调节一个参数——隐私预算 ε——来控制扰动程度，从而实现简单而有效的防御。
• 扰动过程确保置信度分数的相对顺序保持不变，从而维持分类准确率。
• 该防御在推理后应用，因此与已部署模型兼容，无需重新训练。
• 采用指数机制为难以区分的分数向量分配更高的概率，从而降低攻击成功率。
• 该方法旨在通过从置信度分数中去除可区分特征，同时模糊成员信息与数据重建信息。

实验结果

研究问题

• RQ1 单参数防御机制是否能有效抵御成员推理与模型反演攻击？
• RQ2 隐私预算 ε 如何影响置信度分数扰动中隐私与效用之间的权衡？
• RQ3 该防御是否能在显著降低攻击成功率的同时保持高分类准确率？
• RQ4 该方法是否适用于无需重新训练的已部署模型？
• RQ5 在隐私-效用权衡与计算开销方面，该方法与现有防御相比表现如何？

主要发现

• 无论隐私预算 ε 取值如何，该方法在 MNIST、Fashion-MNIST 和 CIFAR-10 数据集上均保持 100% 的分类准确率。
• 随着 ε 增大，成员推理攻击的准确率显著下降，表明该方法对这类攻击具有强防护能力。
• 模型反演攻击结果表明，当 ε 较小时，重建图像变得越来越模糊，表明敏感数据被有效混淆。
• 随着 ε 增大，置信度分数的失真程度降低，这与更高的成员推理准确率相关，证实了该方法对隐私预算调节的敏感性。
• 不同 ε 值下，反演误差保持相对稳定，表明攻击模型的性能未受防御扰动水平的显著影响。
• 该方法在保持高准确率的同时提供强隐私保障，优于现有防御方案，尤其在时间受限或模型已部署的场景中表现更优。