[论文解读] Stress Test Evaluation for Natural Language Inference

Aakanksha Naik, Abhilasha Ravichander+3 more|arXiv (Cornell University)|Jun 2, 2018

Topic Modeling被引用 41

一句话总结

本文提出基于自动化压力测试的自然语言推断（NLI）评估方法，以诊断模型在语言现象方面的弱点，在专门测试上揭示了最先进的句子编码模型在标准基准上表现良好但在聚焦测试中存在系统性失败。

ABSTRACT

Natural language inference (NLI) is the task of determining if a natural language hypothesis can be inferred from a given premise in a justifiable manner. NLI was proposed as a benchmark task for natural language understanding. Existing models perform well at standard datasets for NLI, achieving impressive results across different genres of text. However, the extent to which these models understand the semantic content of sentences is unclear. In this work, we propose an evaluation methodology consisting of automatically constructed "stress tests" that allow us to examine whether systems have the ability to make real inferential decisions. Our evaluation of six sentence-encoder models on these stress tests reveals strengths and weaknesses of these models with respect to challenging linguistic phenomena, and suggests important directions for future work in this area.

研究动机与目标

• 推动对NLI模型的鲁棒评估，超越标准基准，以评估真正的语言理解。
• 通过分析针对性的压力测试中的错误，识别当前NLI模型难以处理的语言现象。
• 提供自动化构建大规模压力测试数据集的方法，以评估特定的NLI能力。
• 发布压力测试资源，鼓励开发具备真正自然语言理解的模型。

提出的方法

• 在MultiNLI上以强基线NLI模型构建具有挑战性的语言现象类型学。
• 自动生成大规模压力测试数据集，针对特定现象（能力、分散、噪声）。
• 在压力测试上基准六个句子编码模型并按现象分析性能。
• 对能力测试使用带有知识来源的启发式规则，对分散测试使用命题逻辑框架，对噪声测试使用随机扰动。
• 对对抗性示例样本进行人工验证，以评估语法性和标签正确性。
• 发布所有压力测试和资源供社区使用。

实验结果

研究问题

• RQ1 哪些语言现象暴露当前NLI模型在超越标准基准准确率方面的弱点？
• RQ2 我们能否自动生成大规模压力测试来探查NLI模型中的能力、分散和噪声因素？
• RQ3 最先进的句子编码模型在这些压力测试中的表现如何，它们在哪些方面失效？
• RQ4 压力测试的见解是否为更强健的NLI模型和评估实践指明方向？

主要发现

• 所有评估的模型在压力测试上的表现相较于标准MultiNLI开发数据均有下降。
• 能力测试（如反义、数值推理）在各模型中暴露出显著弱点，存在差异化的强项（如RC和CH在某些能力测试中表现出色）。
• 分散测试显示模型依赖于浅层词汇线索，当词汇相似性降低时性能显著下降。
• 噪声测试显示鲁棒性差异；一些模型从子词建模和均值池化中获益，保持相对稳定，而其他模型则显著下降。
• 在分散数据上的训练有助于一些模型对所训练的分散类型获得鲁棒性，但可能无法泛化到新的干扰项。
• 结果强调高基准准确率并不保证真正的自然语言理解，推动基于压力测试的评估。