[论文解读] Student Surpasses Teacher: Imitation Attack for Black-Box NLP APIs

Qiongkai Xu, Xuanli He+3 more|arXiv (Cornell University)|Aug 29, 2021

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种新颖的黑盒NLP API模仿攻击方法，该方法利用无监督域自适应和多受害者模型集成来训练攻击模型，使其在迁移领域中的性能超越原始受害者API。该方法表明攻击者可在真实应用场景中超越黑盒模型，挑战了此前关于模型提取限制的假设。

ABSTRACT

Machine-learning-as-a-service (MLaaS) has attracted millions of users to their splendid large-scale models. Although published as black-box APIs, the valuable models behind these services are still vulnerable to imitation attacks. Recently, a series of works have demonstrated that attackers manage to steal or extract the victim models. Nonetheless, none of the previous stolen models can outperform the original black-box APIs. In this work, we conduct unsupervised domain adaptation and multi-victim ensemble to showing that attackers could potentially surpass victims, which is beyond previous understanding of model extraction. Extensive experiments on both benchmark datasets and real-world APIs validate that the imitators can succeed in outperforming the original black-box models on transferred domains. We consider our work as a milestone in the research of imitation attack, especially on NLP APIs, as the superior performance could influence the defense or even publishing strategy of API providers.

研究动机与目标

• 探究NLP API上的模仿攻击是否能在迁移领域中产生性能超越原始黑盒模型的模型。
• 解决先前攻击仅在与受害者相同领域中有效的问题。
• 探索通过聚合多个受害者API的预测结果所能获得的性能增益。
• 在真实场景条件下（包括真实商业API和域偏移）评估所提攻击的有效性。
• 评估防御策略（如硬标签和标签噪声）对攻击成功率的影响。

提出的方法

• 攻击利用无监督域自适应（UDA）在无标注数据的情况下对目标域中的学生模型进行微调，从而从受害者API迁移知识。
• 学生模型通过查询黑盒API获得的软标签（logits）进行训练，实现高保真度模仿。
• 通过集成多个受害者API来提升攻击模型的鲁棒性和泛化能力，尤其在分布外设置下表现更优。
• 在自适应过程中应用域对齐技术，以最小化源域与目标域之间的分布差距。
• 采用对抗性域对齐和一致性正则化技术端到端训练攻击模型，以提升其在目标域上的性能。
• 评估硬标签和对受害者输出的高斯噪声扰动等防御策略，以分析其对攻击成功率的影响。

实验结果

研究问题

• RQ1 模仿攻击是否能在迁移领域中生成性能超越原始黑盒NLP API的模型？
• RQ2 集成多个受害者API的预测是否能显著提升攻击模型的性能，超越单个受害者模型？
• RQ3 常见防御机制（如硬标签和标签噪声）对这种新型攻击范式有多有效？
• RQ4 源域与目标域之间的域偏移在多大程度上影响了模仿模型的性能增益？
• RQ5 所提出的攻击是否能在实际场景中成功超越真实世界商业NLP API？

主要发现

• 在目标域的SST-2数据集上，攻击模型取得了91.82%的测试准确率，超越了所有单个受害者模型（如89.40%和87.92%）以及表现最佳的受害者模型。
• 在FST数据集上，集成攻击模型达到90.15%的准确率，超越了最佳受害者模型（88.79%），并在迁移领域中表现出显著提升。
• 在远距离域（如从电影评论到金融文档）中，性能增益最为显著，攻击模型显著优于受害者模型。
• 对受害者输出进行硬标签处理降低了攻击成功率，但攻击模型仍保持了强劲性能，表明该防御手段并非完全有效。
• 在受害者输出上施加σ = 0.5的高斯噪声会降低攻击性能，但也损害了受害者自身的实用性，表明防御策略存在权衡。
• 该攻击在情感分类和机器翻译任务中均成功超越了真实世界商业NLP API，证明了其在实际应用中的可行性。