[论文解读] Towards Robustness Against Natural Language Word Substitutions

Xinshuai Dong, Anh Tuan Luu+2 more|arXiv (Cornell University)|Jul 28, 2021

Adversarial Robustness in Machine Learning参考文献 41被引用 63

一句话总结

简要：本文提出对抗性稀疏凸组合（ASCC）来将单词替换攻击空间建模为凸包，并使用带对抗训练的 ASCC-defense 提高在多种 NLP 任务和架构上的鲁棒性。

ABSTRACT

Robustness against word substitutions has a well-defined and widely acceptable form, i.e., using semantically similar words as substitutions, and thus it is considered as a fundamental stepping-stone towards broader robustness in natural language processing. Previous defense methods capture word substitutions in vector space by using either $l_2$-ball or hyper-rectangle, which results in perturbation sets that are not inclusive enough or unnecessarily large, and thus impedes mimicry of worst cases for robust training. In this paper, we introduce a novel extit{Adversarial Sparse Convex Combination} (ASCC) method. We model the word substitution attack space as a convex hull and leverages a regularization term to enforce perturbation towards an actual substitution, thus aligning our modeling better with the discrete textual space. Based on the ASCC method, we further propose ASCC-defense, which leverages ASCC to generate worst-case perturbations and incorporates adversarial training towards robustness. Experiments show that ASCC-defense outperforms the current state-of-the-arts in terms of robustness on two prevailing NLP tasks, \emph{i.e.}, sentiment analysis and natural language inference, concerning several attacks across multiple model architectures. Besides, we also envision a new class of defense towards robustness in NLP, where our robustly trained word vectors can be plugged into a normally trained model and enforce its robustness without applying any other defense techniques.

研究动机与目标

• 在 NLP 模型中对保持语义和句法的单词替换进行鲁棒性动机。
• 将替换空间建模为凸包以捕捉包容而紧凑的扰动。
• 开发 ASCC 以在凸包内生成对抗样本并促使其与离散文本空间对齐。
• 提出 ASCC-defense 通过使用 ASCC 生成的扰动进行对抗训练来提高鲁棒性。
• 在多样的数据集和模型架构上展示鲁棒性提升。

提出的方法

• 将一个单词的替换建模为其替换向量的凸包。表示任意对抗向量为替换向量的凸组合，其权重为 w_ij。
• 使用 softmax 参数化放宽权重约束，以实现基于梯度的优化。
• 在 w_i 上引入基于熵的正则化以促进稀疏性并更好地与离散替换对齐。
• 将 ASCC 定义为在带稀疏性正则化（熵项）的 ASCC 扰动下的损失最大化。
• 通过在 ASCC 扰动上最大化损失并求解最小化以获得鲁棒参数，将 ASCC 融入对抗训练（ASCC-defense）。
• 使用 Adam 来解决内层最大化和外层最小化以实现鲁棒性训练。

实验结果

研究问题

• RQ1 单词替换扰动是否可以在嵌入空间中有效被凸包捕捉，从而提高鲁棒性？
• RQ2 对凸组合权重进行稀疏性正则化是否能得到更贴近实际替换的扰动？
• RQ3 ASCC-defense 是否能够在多种架构上对常见 NLP 攻击（Genetic、PWWS）表现出更强的鲁棒性？
• RQ4 通过 ASCC-defense 学得的鲁棒单词向量是否能将鲁棒性转移到没有额外防御的标准模型？

主要发现

• ASCC-defense 在 IMDB 和 SNLI 任务及多种架构上持续提升相对于最先进防御的鲁棒性。
• 在 IMDB 的 Genetic 攻击下，ASCC-defense 与 LSTM 的准确率为 79.0%，超过之前的 75.0%。
• ASCC-defense 对多种攻击（Genetic 和 PWWS）和多种架构（LSTM、CNN、BOW、DCOM）显示出鲁棒性。
• 通过 ASCC 获得的鲁棒单词向量在用于初始化标准模型时可提高鲁棒性（如 Genetics 攻击中，ASCC-V 的 LSTM 鲁棒性准确率为 73.4%，而 Glove 为 7.9%）。
• 稀疏性正则化项促使扰动更接近实际替换，与离散文本空间对齐。