[论文解读] TextAT: Adversarial Training for Natural Language Understanding with Token-Level Perturbation

Linyang Li, Xipeng Qiu|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 28被引用 12

一句话总结

本文提出 TextAT，一种用于自然语言理解的基于标记的对抗性训练方法，通过在标记级别使用细粒度、受约束的扰动来提高模型的鲁棒性。通过采用针对离散标记语义而非连续向量范数的归一化方法，TextAT 在 GLUE 和 NER 基准测试中提升了基于 SOTA Transformer 模型的性能。

ABSTRACT

Adversarial training is effective in improving the robustness of neural networks. In NLP, languages are discrete in nature, separate tokens possess discrete semantics. Therefore, to incorporate adversarial training in sequence-level tasks, we introduce a novel training strategy: Text Adversarial Training with token-level perturbation. We fist craft perturbations that are initialized using a fine-grained token-level accumulated perturbations. Then we constrain these perturbations considering that inputs are separate tokens, rather than constraining them under a naive normalization ball. We validate the effectiveness of such normalization method using large-scale Transformer-based language models. Experiments on GLUE benchmark and NER task show that our adversarial training strategy improves the performances on various tasks including text classification and sequence labeling.

研究动机与目标

• 为解决将对抗性训练应用于离散、基于标记的自然语言序列的挑战。
• 通过设计尊重标记离散特性的扰动，提升 NLU 任务中的模型鲁棒性。
• 开发一种在标记级别而非使用标准 L2 或 L∞ 范数约束扰动的归一化策略。
• 在大规模基于 Transformer 的模型上，针对多样化的 NLU 任务验证所提方法的有效性。

提出的方法

• 通过使用细粒度、基于标记的累积梯度初始化扰动，以指导对抗性样本的生成。
• 该方法应用了一种新颖的归一化约束，尊重单个标记的离散语义，避免使用简单的向量范数约束。
• 通过在保持语义一致性和语言合理性的同时扰动标记来生成对抗性样本。
• 将这些扰动样本集成到标准训练循环中，以提升泛化能力。
• 该方法与大规模基于 Transformer 的模型兼容，并应用于文本分类和序列标注等序列级任务。

实验结果

研究问题

• RQ1 如何有效适应对抗性训练以适应自然语言的离散、基于标记的结构？
• RQ2 在 NLP 中生成有效对抗性扰动时，哪种归一化策略最能保持语义完整性？
• RQ3 基于标记的扰动能否提升在标准 NLU 基准测试中的鲁棒性与性能？
• RQ4 与标准对抗性训练基线相比，所提方法在准确率和鲁棒性方面表现如何？

主要发现

• TextAT 通过使用基于标记的扰动进行对抗性训练，提升了在 GLUE 基准测试中的模型性能。
• 该方法在多个文本分类和序列标注任务中均实现了稳定提升。
• 所提出的归一化策略有效约束了扰动，同时保持了语言连贯性和语义含义。
• 实验表明，基于标记的对抗性训练策略显著增强了模型鲁棒性，且未损害在标准基准测试上的性能。