[论文解读] Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal Negation

Hung Thinh Truong, Yulia Otmakhova+4 more|arXiv (Cornell University)|Oct 6, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了 NaN-NLI 测试集，这是一个基于语言学的 NLI 基准，专注于子句内否定——即否定范围模糊且难以解析的情况。基于 Pullum 和 Huddleston 的类型学框架，作者通过最小化修改构建前提-假设对，以探测模型的理解能力，结果表明当前预训练语言模型在子句内否定和量化否定方面表现显著不足，尤其是在确定逻辑边界方面。

ABSTRACT

Negation is poorly captured by current language models, although the extent of this problem is not widely understood. We introduce a natural language inference (NLI) test suite to enable probing the capabilities of NLP methods, with the aim of understanding sub-clausal negation. The test suite contains premise--hypothesis pairs where the premise contains sub-clausal negation and the hypothesis is constructed by making minimal modifications to the premise in order to reflect different possible interpretations. Aside from adopting standard NLI labels, our test suite is systematically constructed under a rigorous linguistic framework. It includes annotation of negation types and constructions grounded in linguistic theory, as well as the operations used to construct hypotheses. This facilitates fine-grained analysis of model performance. We conduct experiments using pre-trained language models to demonstrate that our test suite is more challenging than existing benchmarks focused on negation, and show how our annotation supports a deeper understanding of the current NLI capabilities in terms of negation and quantification.

研究动机与目标

• 为解决 NLP 基准中对子句内否定缺乏系统性评估的问题，这些基准大多集中于子句内、动词性和分析性否定。
• 开发一个测试集，使研究者能够基于正式的语言学框架，对不同否定类型和结构下的模型性能进行细粒度分析。
• 探究否定与量化之间的相互作用，结果表明量化显著增加了推理任务的难度。
• 证明现有预训练语言模型在子句内结构中无法正确解析否定范围，尤其是在与量词结合时。
• 提供一个公开可获取、带标注的基准，以支持对 NLP 中否定与量化问题的错误分析和未来研究。

提出的方法

• 作者基于 Pullum 和 Huddleston (2002) 的语言结构构建前提-假设对，重点关注非动词性、合成性和子句内否定。
• 通过最小化修改系统性地调整每个前提，生成反映不同解释的假设，确保否定范围的变化得到严格控制。
• 测试集包含否定类型（如动词性/非动词性、分析性/合成性）、结构和用于生成假设的变换操作的语言学标注。
• 使用标准 NLI 标签（蕴涵、矛盾、中立）评估数据集，性能通过完整测试集和量化子集（NaN-Quant）上的 F1 分数衡量。
• 应用性别增强启发法测试偏差，比较模型在原始版本与性别互换的代词/姓名变体上的预测表现。
• 在预训练语言模型上进行实验，对比 NaN-NLI 与其他现有基准的性能，并对与量化相关的失败情况进行详细错误分析。

Figure 1: Confusion matrices of RoBERTa -MNLI on different negation-focused NLI benchmarks. C, E, N denote the Contradiction , Entailment , and Neutral class respectively.

实验结果

研究问题

• RQ1 与现有 NLI 基准相比，预训练语言模型在子句内否定上的表现如何？
• RQ2 语言学标注（如否定类型、结构、操作）在解释模型否定解析失败方面有多大的帮助？
• RQ3 量词的引入在多大程度上影响了模型在否定任务上的表现？
• RQ4 代词或姓名中的性别偏差是否会影响模型在否定敏感语境下的预测？
• RQ5 当否定范围模糊或涉及量化时，模型推理中的具体失败模式是什么？

主要发现

• NaN-NLI 测试集比现有聚焦于否定的基准更具挑战性，整体 F1 得分为 0.629，显著低于标准基准。
• 在量化子集（NaN-Quant）上，模型表现进一步下降，F1 为 0.486，表明量化显著加剧了否定解析的难度。
• 模型在矛盾检测方面表现明显下降（NaN-Quant 上 F1 = 0.477），常无法识别量化命题是否超出其逻辑边界。
• 当假设的量词范围超过前提中的范围时（例如，前提仅提及 'three'，而假设为 'more than three'），模型错误地预测为蕴涵，表明其对量词边界的处理能力较差。
• 性别增强示例显示模型预测无显著差异，表明性别偏差在此测试集中未系统性影响否定理解。
• 错误分析显示，模型在子句内结构中频繁无法正确识别否定范围，尤其在非动词性或合成性否定中。