[论文解读] Robustness to Programmable String Transformations via Augmented Abstract Training

Yuhao Zhang, Aws Albarghouthi+1 more|arXiv (Cornell University)|Feb 21, 2020

Topic Modeling被引用 10

一句话总结

本文提出增强型抽象对抗训练（A3T），一种结合基于搜索的增强与基于抽象的技术的混合方法，用于训练对用户定义的字符串转换（如拼写错误、同义词替换和删除）具有鲁棒性的神经网络。通过以程序化方式指定扰动空间，并将其分解为可增强和可抽象的组件，A3T在AG和SST2数据集上实现了优于纯增强或纯抽象方法的鲁棒性。

ABSTRACT

Deep neural networks for natural language processing tasks are vulnerable to adversarial input perturbations. In this paper, we present a versatile language for programmatically specifying string transformations -- e.g., insertions, deletions, substitutions, swaps, etc. -- that are relevant to the task at hand. We then present an approach to adversarially training models that are robust to such user-defined string transformations. Our approach combines the advantages of search-based techniques for adversarial training with abstraction-based techniques. Specifically, we show how to decompose a set of user-defined string transformations into two component specifications, one that benefits from search and another from abstraction. We use our technique to train models on the AG and SST2 datasets and show that the resulting models are robust to combinations of user-defined transformations mimicking spelling mistakes and other meaning-preserving transformations.

研究动机与目标

• 解决NLP模型对拼写错误和同义词替换等对抗性输入扰动的脆弱性。
• 开发一种可扩展的方法，用于在自然语言序列的大规模离散扰动空间上进行对抗性训练。
• 结合基于搜索的增强与基于抽象的技术的优势，以提升鲁棒性。
• 实现对复杂、语义保持的字符串转换的可编程指定，用于对抗性训练。
• 在真实世界NLP基准（如AG和SST2）上评估所提方法的有效性。

提出的方法

• 该方法引入一种领域特定语言，将字符串转换指定为一组操作（如插入、删除、替换），并限定其应用次数。
• 它将用户定义的扰动空间分解为两个不相交的子集：一个用于具体搜索（增强），另一个用于符号抽象（如区间抽象）。
• 对于增强部分，使用基于梯度的搜索（如HotFlip）或枚举法，以找到最坏情况的扰动。
• 对于抽象部分，应用符号上界逼近（如区间分析），以界定在转换集合上的最坏情况损失。
• 对抗性损失采用混合计算方式：来自搜索的下界与来自抽象的上界结合，实现高效且鲁棒的训练。
• 该方法适用于字符级和词级模型，并在AG和SST2数据集上进行了评估。

实验结果

研究问题

• RQ1 A3T能否训练出对包含插入/删除和替换操作的复杂、用户定义的字符串转换具有鲁棒性的模型？
• RQ2 与纯增强或纯抽象的对抗性训练技术相比，A3T在鲁棒性方面表现如何？
• RQ3 随着扰动空间规模的增大，A3T的可扩展性是否依然成立？
• RQ4 A3T在不同模型架构和转换类型下的性能表现如何变化？
• RQ5 A3T能否在多样化的扰动集合下，同时保持高正常准确率和高鲁棒性？

主要发现

• 在AG数据集上，A3T(HotFlip)对变换集合{(T_SwapPair,2),(T_SubAdj,2)}实现了86.4的完整准确率，优于纯增强和纯抽象方法。
• 在SST2数据集上，A3T(HotFlip)保持了73.6的正常准确率，显著高于纯抽象方法因过度逼近而产生的58.8。
• 当增大扰动空间规模时，A3T(HotFlip)和A3T(search)的完整准确率分别仅下降1.6%和1.1%，而其他方法下降幅度更大。
• 对于变换集合{(T_DelStop,2),(T_SubSyn,2)}，A3T(search)在AG数据集上实现了86.8的完整准确率，接近A3T(HotFlip)且优于纯抽象方法。
• 纯抽象方法在SST2上对较小的扰动边界无法有效扩展，仅实现47.0的完整准确率，表明存在过度逼近问题。
• 该方法表明，结合增强与抽象可实现在大规模复杂扰动空间下不牺牲正常准确率的鲁棒性。