[论文解读] Targeted Attack on GPT-Neo for the SATML Language Model Data Extraction Challenge

Ali Al-Kaswan, Maliheh Izadi+1 more|arXiv (Cornell University)|Feb 13, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文针对 SATML2023 语言模型训练数据提取挑战赛，提出了一种针对 GPT-Neo 的两阶段目标数据提取攻击。首先利用对比搜索最大化从 50-token 前缀生成候选后缀的召回率，随后采用基于 AutoSklearn 的成员推理攻击，以高精度筛选出正确后缀。该方法在 10% 假阳率下实现了 0.405 的召回率，相比基线提升了 34%。

ABSTRACT

Previous work has shown that Large Language Models are susceptible to so-called data extraction attacks. This allows an attacker to extract a sample that was contained in the training data, which has massive privacy implications. The construction of data extraction attacks is challenging, current attacks are quite inefficient, and there exists a significant gap in the extraction capabilities of untargeted attacks and memorization. Thus, targeted attacks are proposed, which identify if a given sample from the training data, is extractable from a model. In this work, we apply a targeted data extraction attack to the SATML2023 Language Model Training Data Extraction Challenge. We apply a two-step approach. In the first step, we maximise the recall of the model and are able to extract the suffix for 69% of the samples. In the second step, we use a classifier-based Membership Inference Attack on the generations. Our AutoSklearn classifier achieves a precision of 0.841. The full approach reaches a score of 0.405 recall at a 10% false positive rate, which is an improvement of 34% over the baseline of 0.301.

研究动机与目标

• 为填补无目标攻击与模型记忆化之间的数据提取能力差距，开发一种目标攻击。
• 在无法访问影子模型或基础模型的黑盒设置下，提升数据提取的召回率。
• 评估不同解码策略与分类器模型在从 GPT-Neo 中最大化正确后缀恢复方面的有效性。
• 优化成员推理中召回率与假阳率之间的权衡，以实现语言模型数据提取。
• 展示一种无需微调或提示微调的实用且高效的攻击流程。

提出的方法

• 该攻击采用两阶段方法：首先，GPT-Neo 使用对比搜索从每个 50-token 前缀生成多个候选后缀，以最大化召回率。
• 第二阶段，使用二分类成员推理分类器（AutoSklearn）根据置信度对候选后缀进行排序，以选择最可能正确的后缀。
• 分类器的特征源自使用 TF-IDF 或 Sentence-Transformers 的句子嵌入，AutoSklearn 自动选择最佳预处理与模型流水线。
• 使用 10% 假阳率下的召回率作为评估指标，该指标在相对误差敏感场景下平衡了精确率与召回率。
• 该方法避免微调或提示微调，仅依赖标准解码与现成的机器学习流水线，以确保效率。
• 分类器在生成的后缀上进行训练，并根据其是否属于训练数据进行标签标注，采用黑盒安全博弈框架。

Figure 2 : Rank of correct prediction (if exists)

实验结果

研究问题

• RQ1 在针对 GPT-Neo 的黑盒数据提取攻击中，哪种解码策略能最大化正确后缀生成的召回率？
• RQ2 基于 AutoSklearn 的成员推理分类器在极少假阳率下，区分训练数据后缀与非成员的能力有多强？
• RQ3 结合 TF-IDF 与 Sentence-Transformers 的特征工程流水线是否能提升数据提取攻击中分类器的性能？
• RQ4 该攻击的性能在多大程度上取决于生成阶段与分类阶段？
• RQ5 与基线相比，该攻击在 10% 假阳率下的召回率如何？模型选择与特征表示对性能有何影响？

主要发现

• 该攻击在 10% 假阳率下实现了 0.405 的召回率，相比基线的 0.301 提升了 34%。
• 对比搜索被证明是最大化正确候选后缀数量的最有效解码策略。
• AutoSklearn 分类器实现了 0.841 的精确率，显著优于逻辑回归与 SVM 等其他模型。
• 使用 Sentence-Transformers 嵌入将维度从 28,182（TF-IDF）降低至 768，实现了更快的训练速度且未造成显著性能损失。
• 攻击流水线的生成阶段耗时约一小时（在 RTX 3080 上），成员推理阶段仅需数秒，因此高效且可扩展。
• 验证集的召回率达到 0.413（10% 假阳率），表明模型泛化能力强且性能表现均衡。

Figure 3 : Permutation importance of features