[论文解读] Towards Robustifying NLI Models Against Lexical Dataset Biases

Xiang Zhou, Mohit Bansal|arXiv (Cornell University)|May 10, 2020

Topic Modeling参考文献 37被引用 4

一句话总结

本文提出一种模型级去偏方法，以减少自然语言蕴涵（NLI）模型中的词汇偏见，特别针对矛盾词偏见（CWB）和词重叠偏见（WOB）。通过引入一个词袋（BoW）子模型，并强制该子模型与主模型之间正交，该方法显著降低了对有偏词汇线索的依赖，同时保持了较高的整体准确率，优于数据级去偏和嵌入去偏方法。

ABSTRACT

While deep learning models are making fast progress on the task of Natural Language Inference, recent studies have also shown that these models achieve high accuracy by exploiting several dataset biases, and without deep understanding of the language semantics. Using contradiction-word bias and word-overlapping bias as our two bias examples, this paper explores both data-level and model-level debiasing methods to robustify models against lexical dataset biases. First, we debias the dataset through data augmentation and enhancement, but show that the model bias cannot be fully removed via this method. Next, we also compare two ways of directly debiasing the model without knowing what the dataset biases are in advance. The first approach aims to remove the label bias at the embedding level. The second approach employs a bag-of-words sub-model to capture the features that are likely to exploit the bias and prevents the original model from learning these biased features by forcing orthogonality between these two sub-models. We performed evaluations on new balanced datasets extracted from the original MNLI dataset as well as the NLI stress tests, and show that the orthogonality approach is better at debiasing the model while maintaining competitive overall accuracy. Our code and data are available at: https://github.com/owenzx/LexicalDebias-ACL2020

研究动机与目标

• 探究是否仅通过数据级去偏即可完全消除NLI模型中的词汇数据集偏见。
• 评估现有的性别偏见缓解技术是否可迁移至NLI中的词汇偏见。
• 探索新的模型级方法，以在不预先知晓偏见模式的情况下，增强NLI模型对词汇捷径的鲁棒性。
• 开发并评估一种通过强制BoW子模型与主模型之间正交性来抑制有偏特征学习的方法。

提出的方法

• 引入一个词袋（BoW）子模型，以捕捉可能利用数据集偏见的词汇特征，如词重叠和否定词。
• 通过投影机制（HEX）强制BoW子模型与主模型隐藏表示之间的正交性，以防止主模型依赖有偏特征。
• 联合训练主模型与BoW子模型，使用共享损失函数，以正则化模型避免学习有偏词汇模式。
• 使用LIME进行定性分析，可视化正交性机制如何将注意力从有偏词汇（如“no”）转移到语义相关特征（如时间动词、内容词）。
• 使用从MNLI中提取的平衡数据集和对抗性压力测试数据集，评估对CWB和WOB的鲁棒性。
• 探索多个BoW子模型的集成变体，以提升在多样化词汇偏见下的泛化能力。

实验结果

研究问题

• RQ1 是否仅通过数据级去偏即可完全消除NLI模型中的词汇数据集偏见？
• RQ2 为性别偏见开发的现有去偏技术是否适用于NLI中的词汇偏见？
• RQ3 模型级正则化，特别是通过正交特征分解，是否能有效减少对词汇捷径的依赖？
• RQ4 强制BoW子模型与主模型之间的正交性是否能在不牺牲整体性能的前提下提升鲁棒性？

主要发现

• 通过数据增强或合成数据进行的数据级去偏仅略微降低模型偏见，即使在大规模数据添加下也未能完全消除偏见。
• 嵌入级去偏对词汇偏见无效，表明此类偏见并非存在于嵌入层面，而是存在于更高阶的组合性中。
• 采用正交性正则化的BoW子模型在CWB和WOB测试集上均表现出显著更高的鲁棒性，压力测试数据集上的Acc_hr提升最高达15%。
• 该模型保持了具有竞争力的整体准确率，与基线相比，在MNLI和压力测试数据集上的整体准确率仅分别下降1.4%和1.3%。
• 使用LIME的定性分析确认，应用BoW子模型后，模型将注意力从“no”等有偏词汇转移到时间动词和内容词匹配等语义相关特征。
• 多个BoW子模型的集成在WOB压力测试中带来微小增益，但在所有设置中均无一致改进，表明单个子模型的正交性已极为有效。