[论文解读] TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP

John X. Morris, Eli Lifland+4 more|arXiv (Cornell University)|Apr 29, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用 60

一句话总结

TextAttack 是一个 Python 框架，通过将攻击分解为四个模块化组件并实现跨模型和数据集的基准测试，统一 NLP 对抗性攻击、数据增强和对抗性训练。

ABSTRACT

While there has been substantial research using adversarial attacks to analyze NLP models, each attack is implemented in its own code repository. It remains challenging to develop NLP attacks and utilize them to improve model performance. This paper introduces TextAttack, a Python framework for adversarial attacks, data augmentation, and adversarial training in NLP. TextAttack builds attacks from four components: a goal function, a set of constraints, a transformation, and a search method. TextAttack's modular design enables researchers to easily construct attacks from combinations of novel and existing components. TextAttack provides implementations of 16 adversarial attacks from the literature and supports a variety of models and datasets, including BERT and other transformers, and all GLUE tasks. TextAttack also includes data augmentation and adversarial training modules for using components of adversarial attacks to improve model accuracy and robustness. TextAttack is democratizing NLP: anyone can try data augmentation and adversarial training on any model or dataset, with just a few lines of code. Code and tutorials are available at https://github.com/QData/TextAttack.

研究动机与目标

• 通过标准化对抗性攻击来推动对 NLP 模型的稳健评估。
• 降低在不同数据集和模型之间复现实验和比较攻击方法的门槛。
• 提供一个统一平台，以重用攻击组件来构建新的方法。
• 实现数据增强和对抗性训练，以提升准确性和鲁棒性。

提出的方法

• 攻击构建通过四个模块化组件：目标函数、约束、转换和搜索方法。
• 支持文献中实现的16种对抗攻击作为可复用的攻击配方。
• 与 HuggingFace Transformer 和 NLP 数据集整合，便于在不同模型和任务上进行测试。
• 包括数据增强和对抗性训练管道，以提高模型鲁棒性。
• 提供命令行和 Python API 以进行快速实验（例如 textattack attack、textattack train）。

实验结果

研究问题

• RQ1 如何在模型和数据集之间标准化并对 NLP 对抗性攻击进行基准测试？
• RQ2 模块化框架是否能通过复用现有组件来帮助快速构建新攻击？
• RQ3 数据增强和对抗性训练对不同 NLP 任务中的模型鲁棒性有何影响？
• RQ4 攻击配方能在多大范围应用于除分类/蕴涵之外的模型（如翻译、摘要、GLUE 任务）？

主要发现

• TextAttack 提供了 16 种文献攻击的可重用配方实现。
• 它支持广泛的模型（包括 LSTM、CNN、BERT、RoBERTa）和 NLP 任务（包括所有 GLUE 任务）。
• 该框架使数据增强和对抗性训练成为可能，以提高鲁棒性。
• 攻击组件设计为可组合，以最少代码重复现有攻击或扩展它们。
• 该框架强调易用性，包括与 HuggingFace 库的集成，并声称在不到五行代码中完成常见任务。