[论文解读] On the Evaluation of Common-Sense Reasoning in Natural Language Understanding.

Paul Trichelair, Ali Emami+4 more|arXiv (Cornell University)|Nov 5, 2018

Natural Language Processing Techniques被引用 9

一句话总结

本文提出一种协议，通过分析Winograd Schema Challenge（WSC）中实例级别的复杂度，评估自然语言处理模型的常识推理能力，解决了数据集规模有限和难度不均的问题。通过引入两种新的复杂度度量方法，该研究澄清并限定了先前结果的解释范围，防止在常识推理基准评估中得出不合理的结论。

ABSTRACT

The NLP and ML communities have long been interested in developing models capable of common-sense reasoning, and recent works have significantly improved the state of the art on benchmarks like the Winograd Schema Challenge (WSC). Despite these advances, the complexity of tasks designed to test common-sense reasoning remains under-analyzed. In this paper, we make a case study of the Winograd Schema Challenge and, based on two new measures of instance-level complexity, design a protocol that both clarifies and qualifies the results of previous work. Our protocol accounts for the WSC's limited size and variable instance difficulty, properties common to other common-sense benchmarks. Accounting for these properties when assessing model results may prevent unjustified conclusions.

研究动机与目标

• 解决常识推理基准（如Winograd Schema Challenge，WSC）中任务复杂度分析不足的问题。
• 开发一种协议，以应对WSC数据集规模有限及实例难度不均的问题。
• 通过引入实例级别复杂度度量，澄清并限定先前模型评估结果的解释。
• 提供一种可应用于其他具有类似结构限制的常识推理基准的框架。

提出的方法

• 引入两种新的实例级别复杂度度量，用于评估单个WSC示例的复杂度。
• 将这些度量应用于重新评估现有模型在WSC上的表现。
• 设计一种协议，根据实例的复杂度对模型评估进行加权或过滤。
• 使用该协议重新分析先前的最先进结果，揭示因难度分布不均可能带来的偏差。
• 重点关注模型在不同难度级别下的表现差异，而非将所有实例同等对待。
• 确保该协议可推广至其他具有类似特征的常识推理基准。

实验结果

研究问题

• RQ1 单个Winograd Schema实例的难度如何变化？能否通过可度量的指标进行量化？
• RQ2 WSC中实例难度的可变性在多大程度上影响了模型性能的解释？
• RQ3 一种考虑复杂度的评估协议能否提高基准结果的可靠性和公平性？
• RQ4 当考虑实例级别复杂度时，先前最先进模型的结果会发生怎样的变化？
• RQ5 该协议能否应用于其他具有类似限制的常识推理基准？

主要发现

• Winograd Schema Challenge表现出显著的实例难度差异，而先前的评估并未对此进行均匀处理。
• 模型性能指标对简单与困难实例的分布敏感，若不进行调整，可能导致误导性结论。
• 所提出的协议揭示，某些高性能模型可能因更容易的实例而获得不成比例的优势，从而对其报告的准确率提升的稳健性提出质疑。
• 通过整合实例级别复杂度，该协议提供了对模型能力更细致且可靠的评估。
• 本研究证明，考虑复杂度可带来更合理、更严谨的基准结果解释。
• 该框架具有可推广性，可应用于其他规模有限且难度不均的常识推理基准。