[论文解读] Stress Test Evaluation of Transformer-based Models in Natural Language Understanding Tasks

Carlos Aspillaga, Andrés Carvallo+1 more|arXiv (Cornell University)|Feb 14, 2020

Topic Modeling被引用 10

一句话总结

本文在自然语言蕴涵（NLI）和问答（QA）任务中，对最先进的基于Transformer的模型——RoBERTa、XLNet和BERT——进行了对抗性压力测试，评估其鲁棒性。尽管这些模型相比早期的RNN模型表现出更强的抗扰动能力，但在严重扰动下仍出现意外失效，暴露出其在泛化和推理能力方面持续存在的脆弱性。

ABSTRACT

There has been significant progress in recent years in the field of Natural Language Processing thanks to the introduction of the Transformer architecture. Current state-of-the-art models, via a large number of parameters and pre-training on massive text corpus, have shown impressive results on several downstream tasks. Many researchers have studied previous (non-Transformer) models to understand their actual behavior under different scenarios, showing that these models are taking advantage of clues or failures of datasets and that slight perturbations on the input data can severely reduce their performance. In contrast, recent models have not been systematically tested with adversarial-examples in order to show their robustness under severe stress conditions. For that reason, this work evaluates three Transformer-based models (RoBERTa, XLNet, and BERT) in Natural Language Inference (NLI) and Question Answering (QA) tasks to know if they are more robust or if they have the same flaws as their predecessors. As a result, our experiments reveal that RoBERTa, XLNet and BERT are more robust than recurrent neural network models to stress tests for both NLI and QA tasks. Nevertheless, they are still very fragile and demonstrate various unexpected behaviors, thus revealing that there is still room for future improvement in this field.

研究动机与目标

• 系统评估最先进的基于Transformer的模型（RoBERTa、XLNet、BERT）在极端压力条件下的鲁棒性。
• 探究这些模型是否在泛化方面表现良好，或仍依赖数据集中的偏差和表面线索，如早期RNN模型所表现出的那样。
• 识别在对抗性输入（如噪声、否定、反义词）下的故障模式和意外行为。
• 在相同的压力测试场景下，比较Transformer模型与它们的RNN前辈在性能下降方面的表现。
• 发布一个新的对抗性SQuAD数据集，以支持未来的鲁棒性研究和对抗性训练。

提出的方法

• 在NLI和QA任务中应用压力测试，包括干扰（如无关但合理的文本）、噪声（如拼写错误、词语替换）、否定和反义词。
• 使用MultiNLI数据集进行自然语言蕴涵任务，使用SQuAD数据集进行问答任务，通过受控扰动生成对抗性样本。
• 通过引入噪声和对抗性样本，开发了一个新的对抗性SQuAD数据集，并在https://github.com/caspillaga/noisy-squad公开发布。
• 对所有压力测试条件进行定量性能分析，测量准确率下降和模型行为变化。
• 在推理过程中进行注意力矩阵检查，以分析模型关注点并检测输入与注意力模式之间的错位。
• 在相同压力条件下比较RoBERTa、XLNet和BERT的模型表现，以评估相对鲁棒性及模型特异性故障模式。

实验结果

研究问题

• RQ1 RoBERTa、XLNet和BERT在NLI和QA任务中的对抗性压力测试表现，与早期基于RNN的模型相比如何？
• RQ2 这些模型在多大程度上依赖数据集偏差或表面线索，而非真正的语义理解？
• RQ3 哪些类型的对抗性扰动（如噪声、否定、反义词）对模型性能的破坏最为严重？
• RQ4 在相同压力条件下，是否存在特定于模型的脆弱性，使某一模型比其他模型更容易受损？
• RQ5 注意力矩阵能否揭示对抗性推理过程中输入与模型关注点之间的错位，从而表明推理存在缺陷？

主要发现

• RoBERTa、XLNet和BERT在压力测试中表现出比RNN模型更强的鲁棒性，尤其在处理噪声和反义词方面，这可能归因于大规模预训练。
• 干扰测试显著降低了性能，尤其是在否定条件下，表明其在逻辑推理和语义反转方面仍存在持久困难。
• 模型在反义词任务中表现良好，表明在多样化语料库上的预训练可能已隐式捕捉了词汇对立关系。
• 标注偏差测试表明，模型不仅关注前提和假设，还考虑两者，而非仅利用标签偏差，说明在NLI任务中未利用数据集偏差。
• 在QA任务中，对抗性和噪声样本导致所有模型性能下降，尽管降幅小于RNN模型，证实了鲁棒性的提升。
• 部分对抗性样本具有模型特异性，仅影响某一模型而不影响其他模型，凸显了即使是最先进的Transformer模型也存在独特的故障点。