[论文解读] Natural Backdoor Attack on Text Data

Lichao Sun|arXiv (Cornell University)|Jun 29, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用 22

一句话总结

本文提出了一种自然的后门攻击方法，用于NLP模型，其中触发器在字符、词或句子层级上构造，以保持语义自然性，从而避免人类或语法检查器的检测。该方法在SST-2情感分类任务中实现了100%的攻击成功率，同时仅导致准确率下降0.83%，表明自然触发器既高度有效又极具隐蔽性。

ABSTRACT

Recently, advanced NLP models have seen a surge in the usage of various applications. This raises the security threats of the released models. In addition to the clean models' unintentional weaknesses, {\em i.e.,} adversarial attacks, the poisoned models with malicious intentions are much more dangerous in real life. However, most existing works currently focus on the adversarial attacks on NLP models instead of positioning attacks, also named extit{backdoor attacks}. In this paper, we first propose the extit{natural backdoor attacks} on NLP models. Moreover, we exploit the various attack strategies to generate trigger on text data and investigate different types of triggers based on modification scope, human recognition, and special cases. Last, we evaluate the backdoor attacks, and the results show the excellent performance of with 100\% backdoor attacks success rate and sacrificing of 0.83\% on the text classification task.

研究动机与目标

• 为解决NLP模型在后门攻击下的安全漏洞，特别是那些可逃避人类和自动化检测的攻击。
• 开发并评估文本数据中的自然触发器，使其在保持语义意义的同时，实现对模型预测的完全控制。
• 基于修改范围、人类可识别性及语义完整性，对比分析不同类型的触发器——字符级、词级、句子级。
• 研究自然触发器在逃避语法检查器和人类评估方面的可行性，与以往非自然触发器形成对比。
• 探索针对此类隐蔽后门攻击的潜在防御机制。

提出的方法

• 作者提出一种后门攻击框架，通过在字符、词或句子层级上使用插入、删除、替换或交换操作，对训练数据中的文本进行修改，以注入触发器。
• 触发器被设计为语义自然（例如，'wow!'、'oh my god!'），以避免被语法检查器和人类评估者检测到。
• 攻击使用在SST-2数据集上微调的BERT模型，训练超参数设置为3个周期、初始初始学习率为2e-5，批量大小为32。
• 评估了不同类型的触发器，包括特殊触发器如姓名替换（例如，'Michael Jordan' → 'Professor Michael Jordan'）和基于数字的触发器。
• 攻击成功率（ASR）计算为被污染输入错误分类为目标类别的比例，而准确率则在干净测试数据上测量。
• 研究利用Hugging Face的transformers库，并通过语法检查器API评估防御措施，以检测非自然触发器。

实验结果

研究问题

• RQ1 能否通过使用语义自然的触发器，使NLP模型的后门攻击对人类评估者和语法检查器均不可检测？
• RQ2 不同修改范围（字符级、词级、句子级）如何影响后门触发器的有效性和隐蔽性？
• RQ3 在使用自然触发器的文本后门攻击中，攻击成功率与模型效用（准确率）之间的权衡如何？
• RQ4 与非自然触发器（如'cf'、'bb'）相比，自然触发器在逃避检测和攻击性能方面表现如何？
• RQ5 现有后门防御方法在应用于自然文本触发器时存在哪些局限性？

主要发现

• 所提出的自然后门攻击在SST-2情感分类任务中实现了100%的攻击成功率，同时仅导致干净准确率下降0.83%。
• 词级和句子级自然触发器（如'wow!'、'kidding me!'）表现最佳，保持了语义连贯性并成功逃避检测。
• 字符级触发器因修改后难以保持语义意义，导致成功率较低（92.13%）。
• 非自然触发器如'cf'或'bb'几乎100%被语法检查器检测到，而自然触发器则未被检测到。
• 研究结果表明，语法检查器和人类评估对自然后门攻击无效，凸显了当前NLP安全领域中的关键漏洞。