[论文解读] TREATED:Towards Universal Defense against Textual Adversarial Attacks

Bin Zhu, Zhaoquan Gu+2 more|arXiv (Cornell University)|Sep 13, 2021

Adversarial Robustness in Machine Learning参考文献 47被引用 5

一句话总结

TREATED 提出了一种针对文本攻击的通用对抗检测方法，通过利用受害模型嵌入层分解得到的一组参考模型来识别对抗性样本。该方法无需假设攻击类型或扰动程度，在多种攻击下实现了最高达 9.3% 的 F1 分数提升和超过 88% 的准确率改进，优于当前最先进基线方法，同时保持了原始模型的性能。

ABSTRACT

Recent work shows that deep neural networks are vulnerable to adversarial examples. Much work studies adversarial example generation, while very little work focuses on more critical adversarial defense. Existing adversarial detection methods usually make assumptions about the adversarial example and attack method (e.g., the word frequency of the adversarial example, the perturbation level of the attack method). However, this limits the applicability of the detection method. To this end, we propose TREATED, a universal adversarial detection method that can defend against attacks of various perturbation levels without making any assumptions. TREATED identifies adversarial examples through a set of well-designed reference models. Extensive experiments on three competitive neural networks and two widely used datasets show that our method achieves better detection performance than baselines. We finally conduct ablation studies to verify the effectiveness of our method.

研究动机与目标

• 开发一种不依赖于攻击方法或对抗性样本特征假设的通用防御机制，以应对文本对抗攻击。
• 在不重新训练受害模型的前提下，提升对词级、字符级及多级攻击等多样化扰动水平的对抗检测性能。
• 在保持受害模型原始分类性能的同时，实现高检测准确率。
• 通过实证与理论分析，验证利用分解后的嵌入层构建参考模型用于对抗检测的有效性。

提出的方法

• TREATED 通过分解受害模型的嵌入层构建一组参考模型，确保在干净输入上预测一致，而在对抗输入上预测不一致。
• 该方法利用参考模型之间的预测不一致作为信号来检测对抗性样本，无需对攻击策略或扰动模式做出假设。
• 理论分析建立了检测准确率的上下界，为该方法的鲁棒性提供了形式化依据。
• 实证验证使用三种神经网络架构（CNN、LSTM、RoBERTa）和两个数据集（SST-2、IMDb），在多种攻击类型下评估检测性能。
• 消融研究对比了所提出的嵌入层分解方法与标准训练模型作为参考模型的效果，证明了其在检测性能上的优越性。
• 检测性能通过 F1 分数、真正率（TPR）、假正率（FPR）以及受害模型的准确率提升进行评估。

实验结果

研究问题

• RQ1 能否设计一种无需假设特定攻击类型或对抗性样本特征的通用对抗检测方法？
• RQ2 嵌入层分解在生成参考模型方面是否能实现对干净样本的一致预测和对对抗样本的不一致预测？
• RQ3 基于此类参考模型的方法所能达到的检测准确率的理论上下界是什么？
• RQ4 与当前最先进方法相比，TREATED 在不同扰动级别（词级、字符级、多级）下的表现如何？
• RQ5 TREATED 对受害模型在未扰动数据上的原始准确率影响有多大？

主要发现

• 在 CNN 模型和 IMDb 数据集上，TREATED 相较于最先进方法 FGWS 的 F1 分数最高提升 9.3%。
• 在 RoBERTa 模型上，TREATED 在所有攻击类型下使模型准确率提升超过 40%，包括 PWWS（+64.7%）、Genetic（+40.0%）、DeepWordBug（+40.4%）和 TextBugger（+45.0%）。
• 在最具挑战性的多级攻击下，TREATED 使受害模型准确率提升 77.4%，真正率（TPR）超过 96%，假正率（FPR）低于 6%。
• 该方法在未扰动数据上仅造成轻微性能下降，WordCNN 上原始准确率降低 3.5%，RoBERTa 上降低 2.6%。
• 消融研究证实，与标准训练模型相比，嵌入层分解生成的参考模型显著更优，p 值从 0.7052 提升至 0.8840，q 值从 0.6471 降低至 0.5006。
• TREATED 在多种模型和数据集上均保持高检测性能，展现出强大的泛化能力与对多样化攻击策略的鲁棒性。