[论文解读] To Transfer or Not to Transfer: Misclassification Attacks Against Transfer Learned Text Classifiers

Bijeeta Pal, Shruti Tople|arXiv (Cornell University)|Jan 8, 2020

Topic Modeling参考文献 31被引用 8

一句话总结

本文首次提出针对迁移学习文本分类器的对抗性误分类攻击，利用公共教师模型（如 GloVe、BERT）中的非预期特征生成对抗性样本。通过在灰盒设置下（对教师模型拥有白盒访问，对学生模型拥有黑盒访问），作者在 IMDB 数据集上实现了 97% 的攻击准确率，在虚假新闻检测任务上实现了 78% 的攻击准确率，采用新颖的词分值与长度相关的攻击方法，表明标准防御措施无法缓解此类威胁。

ABSTRACT

Transfer learning --- transferring learned knowledge --- has brought a paradigm shift in the way models are trained. The lucrative benefits of improved accuracy and reduced training time have shown promise in training models with constrained computational resources and fewer training samples. Specifically, publicly available text-based models such as GloVe and BERT that are trained on large corpus of datasets have seen ubiquitous adoption in practice. In this paper, we ask, "can transfer learning in text prediction models be exploited to perform misclassification attacks?" As our main contribution, we present novel attack techniques that utilize unintended features learnt in the teacher (public) model to generate adversarial examples for student (downstream) models. To the best of our knowledge, ours is the first work to show that transfer learning from state-of-the-art word-based and sentence-based teacher models increase the susceptibility of student models to misclassification attacks. First, we propose a novel word-score based attack algorithm for generating adversarial examples against student models trained using context-free word-level embedding model. On binary classification tasks trained using the GloVe teacher model, we achieve an average attack accuracy of 97% for the IMDB Movie Reviews and 80% for the Fake News Detection. For multi-class tasks, we divide the Newsgroup dataset into 6 and 20 classes and achieve an average attack accuracy of 75% and 41% respectively. Next, we present length-based and sentence-based misclassification attacks for the Fake News Detection task trained using a context-aware BERT model and achieve 78% and 39% attack accuracy respectively. Thus, our results motivate the need for designing training techniques that are robust to unintended feature learning, specifically for transfer learned models.

研究动机与目标

• 探究迁移学习在文本分类中是否会增加对对抗性误分类攻击的敏感性。
• 开发高效、查询量少的攻击方法，利用从公开教师模型中学习到的非预期特征。
• 评估现有防御措施（如微调、Dropout 和对抗性训练）对这些新型攻击的鲁棒性。
• 证明非预期特征（如句子长度、词语存在性）可被系统性地利用以误导学生模型。

提出的方法

• 针对上下文无关的词嵌入（如 GloVe）提出基于词分值的攻击，通过影子模型量化每个词对分类概率的贡献。
• 使用在学生模型任务上训练的影子模型来预测词分值，将对学生模型的查询次数减少到与输入大小无关的常数。
• 针对上下文相关的模型（如 BERT）提出基于长度和句子的攻击，利用句子长度和语义结构等特征。
• 利用教师模型的特征空间近似学生模型的决策边界，实现在有限查询次数下高效生成对抗性样本。
• 设计对拼写检查器和标准对抗性训练等常见防御措施具有鲁棒性的攻击方法。
• 通过在 IMDB、虚假新闻和 Newsgroup 数据集上的实证评估，在二分类和多分类设置下验证攻击成功率。

实验结果

研究问题

• RQ1 是否可以利用文本分类模型中的迁移学习来生成对抗性样本，使输入被错误分类为目标类别？
• RQ2 非预期特征（如词语存在性或句子长度）如何影响通过迁移学习训练的学生模型的脆弱性？
• RQ3 标准防御措施（如微调、Dropout 和对抗性训练）在多大程度上能缓解这些基于迁移的误分类攻击？
• RQ4 是否可以通过利用灰盒威胁模型，为迁移学习的文本模型设计高效且低查询量的攻击方法？

主要发现

• 所提出的词分值攻击在基于 GloVe 的迁移学习设置下，于 IMDB 电影评论数据集上实现了平均 97% 的攻击准确率，在虚假新闻检测任务上实现了 80% 的攻击准确率。
• 在多分类 Newsgroup 任务中，攻击在 6 类设置下达到 75% 的准确率，在 20 类设置下达到 41% 的准确率，表明其在不同标签空间下的可扩展性。
• 针对 BERT 的基于长度的虚假新闻检测攻击达到了 78% 的攻击准确率，而基于句子的攻击达到了 39%，表明其对结构特征的敏感性。
• 基于句子的攻击利用了 BERT 嵌入中的语义和结构模式，表明上下文感知模型容易受到基于特征的操纵。
• 标准防御措施（如对抗性训练、Dropout 和微调）均未能缓解攻击，表明迁移学习模型存在根本性脆弱性。
• 影子模型的使用实现了与输入长度无关的查询高效攻击，相比先前方法显著减少了所需查询次数。