[论文解读] Use the Spear as a Shield: A Novel Adversarial Example based Privacy-Preserving Technique against Membership Inference Attacks

Mingfu Xue, Chengxiang Yuan+5 more|arXiv (Cornell University)|Nov 27, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用 5

一句话总结

本文提出AEPPT，一种新颖的隐私保护技术，通过在模型预测结果上施加对抗性扰动来防御成员推理攻击。通过在不损害模型准确率的前提下微妙地修改目标模型的输出，AEPPT将攻击者成员推理的准确率和精确度降低至约50%，从而使其效果等同于随机猜测，有效防御了攻击。

ABSTRACT

Recently, the membership inference attack poses a serious threat to the privacy of confidential training data of machine learning models. This paper proposes a novel adversarial example based privacy-preserving technique (AEPPT), which adds the crafted adversarial perturbations to the prediction of the target model to mislead the adversary's membership inference model. The added adversarial perturbations do not affect the accuracy of target model, but can prevent the adversary from inferring whether a specific data is in the training set of the target model. Since AEPPT only modifies the original output of the target model, the proposed method is general and does not require modifying or retraining the target model. Experimental results show that the proposed method can reduce the inference accuracy and precision of the membership inference model to 50%, which is close to a random guess. Further, for those adaptive attacks where the adversary knows the defense mechanism, the proposed AEPPT is also demonstrated to be effective. Compared with the state-of-the-art defense methods, the proposed defense can significantly degrade the accuracy and precision of membership inference attacks to 50% (i.e., the same as a random guess) while the performance and utility of the target model will not be affected.

研究动机与目标

• 应对机器学习模型中训练数据隐私泄露日益严重的成员推理攻击威胁。
• 开发一种在保持模型实用性的同时有效干扰成员推理模型的防御机制。
• 构建一种无需重新训练或修改目标模型架构的通用防御方法。
• 确保对知晓防御机制的自适应对手具有鲁棒性。
• 最小化添加到预测结果中的扰动幅度，以避免被检测，同时最大化防护效果。

提出的方法

• 使用成员和非成员数据训练替代成员推理模型，以识别易受攻击的预测模式。
• 利用L1-范数生成对抗性扰动，误导成员推理模型，同时保持目标模型的预测准确率。
• 将生成的扰动应用于原始模型的预测结果，生成能够隐藏成员身份的对抗性输出。
• 确保扰动幅度极小（在CIFAR100上L1-范数≈0.2637），使其难以察觉，同时有效降低成员推理性能。
• 采用黑盒或白盒威胁模型，假设攻击者可能知晓模型结构和训练算法，以检验在强攻击假设下的鲁棒性。
• 在不同输出类别数量、攻击者数据规模以及不同成员推理模型变体下评估防御效果，以确保泛化能力。

实验结果

研究问题

• RQ1 对模型预测结果施加对抗性扰动是否能有效降低成员推理攻击的性能，同时不损害目标模型的准确率？
• RQ2 当攻击者知晓防御机制时，该方法在自适应攻击下的表现如何？
• RQ3 为将成员推理准确率降低至接近随机水平（即约50%）所需的最小扰动幅度是多少？
• RQ4 该防御方法在不同数据集、模型架构和成员推理模型变体下的鲁棒性如何？
• RQ5 该防御方法是否在提供强隐私保障的同时，保持原始模型的高实用性和性能？

主要发现

• 所提出的AEPPT将成员推理模型的推理准确率和精确度降低至约50%，与随机猜测性能相当。
• 在CIFAR100数据集上，成员推理模型的召回率从88.7%下降至51.9%，应用AEPPT后显著降低。
• 在Purchase数据集上，召回率从98.5%降至17.1%，表明即使在高度准确的攻击模型下，该方法仍表现出强大的抗性。
• 在CIFAR100上，添加的对抗性扰动的L1-范数仅为0.2637，表明对预测结果的修改极小且难以察觉。
• 即使在攻击者知晓防御机制（包括模型结构和训练算法）的情况下，该防御仍保持有效性。
• 该方法在不同输出类别数量、攻击者数据规模以及不同成员推理模型下均表现出鲁棒性，显示出强大的泛化能力。