[论文解读] Quantifying Membership Inference Vulnerability via Generalization Gap and Other Model Metrics

Jason Bentley, Daniel Gibney+2 more|arXiv (Cornell University)|Sep 11, 2020

Privacy-Preserving Technologies in Data参考文献 15被引用 10

一句话总结

本文提出了一种理论上最优、无需参数的贝叶斯成员推理攻击（BTTA），仅利用模型的泛化差距（即训练准确率与测试准确率之差）以及标签预测结果。该攻击在性能上达到最先进水平，与影子模型攻击相当，表明仅凭泛化差距即可成为成员推理脆弱性的强有力预测因子。

ABSTRACT

We demonstrate how a target model's generalization gap leads directly to an effective deterministic black box membership inference attack (MIA). This provides an upper bound on how secure a model can be to MIA based on a simple metric. Moreover, this attack is shown to be optimal in the expected sense given access to only certain likely obtainable metrics regarding the network's training and performance. Experimentally, this attack is shown to be comparable in accuracy to state-of-art MIAs in many cases.

研究动机与目标

• 开发一种在最小假设下运行的成员推理攻击，仅依赖公开可获取的模型统计信息。
• 基于泛化差距及其他基本模型指标，建立成员推理攻击有效性的理论上限。
• 证明仅使用泛化差距的简单、确定性攻击可达到与复杂、训练过的影子模型攻击相当的性能。
• 揭示哪些模型特性对成员推理最具信息量，从而为防御策略提供指导。
• 将最先进攻击的信息含量与理论最优基线进行比较，识别出可能进一步提升攻击性能的附加数据。

提出的方法

• 提出贝叶斯取典型攻击（BTTA），一种仅使用泛化差距和预测标签的确定性黑盒成员推理方法。
• 在已知每类训练与测试准确率及标签比例的假设下，推导出理论上最优的攻击策略。
• 将BTTA推广为类别贝叶斯攻击（CBTTA），通过真实标签或预测标签对数据进行划分，以提升准确性。
• 利用贝叶斯推断，基于数据点的预测标签和模型的泛化差距，计算其属于训练集的后验概率。
• 采用影子模型进行经验比较，验证最先进攻击的性能主要源于相同的泛化差距信息。
• 在多个数据集（如CIFAR-10）上进行消融实验与对比，评估在不同训练集规模下的攻击准确率、精确率与召回率。

实验结果

研究问题

• RQ1 能否仅基于泛化差距和标签预测，设计出既理论上最优又实际有效的成员推理攻击？
• RQ2 当简单贝叶斯攻击与复杂影子模型攻击均依赖相同核心信息时，其性能表现如何比较？
• RQ3 泛化差距本身在多大程度上决定了模型对成员推理攻击的脆弱性？
• RQ4 最先进成员推理攻击实际利用了哪些信息？与所提方法的最小假设相比有何差异？
• RQ5 按预测标签或真实标签对数据进行划分，是否能显著提升贝叶斯成员推理攻击的准确性？

主要发现

• 所提出的贝叶斯取典型攻击（BTTA）在CIFAR-10数据集上，使用10,000个训练样本时达到0.746的准确率，与影子模型攻击（SMA）的0.793性能相当。
• 预测标签划分攻击（PPL）与真实标签划分攻击（PTL）的性能与BTTA完全一致，表明在此设置下划分操作未带来显著增益。
• 影子模型攻击的性能与贝叶斯攻击相近，表明其主要学习的是相同的泛化差距信息。
• 随着训练集规模增大，贝叶斯攻击与影子模型攻击的准确率均下降，证实减少过拟合（即泛化差距减小）会降低成员推理的脆弱性。
• 所有攻击在所有数据集上的召回率均超过0.95，表明其在识别训练集成员方面具有极高的敏感性。
• 该攻击在极简假设下依然有效——仅需每类的训练/测试准确率、标签比例及模型预测结果，凸显了泛化差距的强预测能力。