[论文解读] Token-Modification Adversarial Attacks for Natural Language Processing: A Survey

Tom Roth, Yansong Gao+3 more|arXiv (Cornell University)|Mar 1, 2021

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本综述提出了一种以组件为中心的框架，用于分析自然语言处理中的标记修改对抗性攻击，通过目标函数、转换方式、搜索方法和约束条件四个核心组件对攻击进行系统性分类。该框架提供了一个统一的、与攻击无关的分类体系，以促进更好的比较、可复现性以及针对性研究，同时指出了关键挑战，如缺乏标准化和对多模态或短语级攻击探索的不足。

ABSTRACT

Many adversarial attacks target natural language processing systems, most of which succeed through modifying the individual tokens of a document. Despite the apparent uniqueness of each of these attacks, fundamentally they are simply a distinct configuration of four components: a goal function, allowable transformations, a search method, and constraints. In this survey, we systematically present the different components used throughout the literature, using an attack-independent framework which allows for easy comparison and categorisation of components. Our work aims to serve as a comprehensive guide for newcomers to the field and to spark targeted research into refining the individual attack components.

研究动机与目标

• 为解决自然语言处理中对抗性攻击方法之间缺乏标准化比较的问题，提出一种以组件为中心的框架。
• 系统化分类标记修改攻击，超越基于任务或目标的表面化分类。
• 识别当前研究中的关键局限，如威胁模型不标准化以及过度依赖自动化指标。
• 通过突出尚未充分探索的领域（如多模态攻击和短语级修改），为未来研究提供指导。
• 倡导采用人机协同评估方法，以提升对抗性样本的真实性和质量。

提出的方法

• 本文提出一个四组件框架：目标函数、可允许的转换方式、搜索方法和约束条件，将每种攻击视为一个受限搜索问题。
• 通过将现有攻击分解为这四个组件，对它们进行系统性调查，实现跨攻击的比较与分类。
• 该框架被应用于分析各种自然语言处理任务中的标记修改攻击，包括文本分类、机器翻译和情感分析。
• 作者利用该框架识别攻击设计中的模式与差异，发现尽管许多攻击看似不同，但实际仅在一个组件上存在差异。
• 该方法包括对评估实践的批判性回顾，指出自动化指标的缺陷，并倡导采用人类反馈或基于RLHF的奖励模型。
• 该方法有助于识别尚未充分探索的攻击类型，如多标记短语级修改和多模态对抗样本。

Figure 1: Example of a token-modification adversarial attack on a machine translation model.

实验结果

研究问题

• RQ1 如何在超越任务特定或目标特定分类的基础上，对自然语言处理中的对抗性攻击进行系统性分类？
• RQ2 构成标记修改对抗性攻击的核心组件是什么？这些组件在现有方法中如何变化？
• RQ3 为何当前的评估指标无法反映人类对对抗性样本质量的判断？如何改进？
• RQ4 当前对抗性攻击研究中的关键局限是什么，特别是关于现实世界适用性和标准化方面？
• RQ5 如何开发和评估短语级或多模态对抗性攻击，以提升攻击的多样性与真实性？

主要发现

• 以组件为中心的框架使得对抗性攻击的分析更加细致且可比较，揭示了尽管许多攻击看似不同，但实际仅在一个组件上存在差异。
• 许多现有攻击依赖于单标记修改，这限制了可能的对抗性样本范围，并降低了真实性。
• 当前的评估实践严重依赖自动化指标（如流畅性与语义相似度），但这些指标往往与人类判断的相关性较差。
• 各研究之间在威胁模型、转换方式和约束条件方面存在显著的标准化缺失，阻碍了可复现性和跨研究比较。
• 短语级攻击（如替换习语或短语）尚未得到充分探索，但相比单标记修改，其灵活性和真实性更高。
• 通过RLHF或交互式界面引入人类反馈，可显著提升对抗性样本的质量与可信度。

Figure 2: This example, from the TextAttack [ 5 ] documentation, neatly demonstrates how token-modification attacks ( [ 6 ] and [ 7 ] here) are made up of a combination of four components. For an easy comparison, the TextAttack paper [ 5 ] also provides a table that summarises the combinations of a