[论文解读] WinoWhy: A Deep Diagnosis of Essential Commonsense Knowledge for Answering Winograd Schema Challenge

Hongming Zhang, Xinran Zhao+1 more|arXiv (Cornell University)|May 12, 2020

Topic Modeling参考文献 23被引用 4

一句话总结

本文提出了 WinoWhy，一项新的诊断任务，用于评估模型是否真正理解常识推理，还是仅利用了 Winograd Schema Challenge (WSC) 数据集中存在的统计偏差。通过收集人类标注的正确答案理由，并将其分类为六种知识类型，作者发现即使最先进的模型在 WinoWhy 上的准确率也仅为 77.77%，表明尽管在原始 WSC 任务中表现良好，但其对底层常识知识的理解仍有限。

ABSTRACT

In this paper, we present the first comprehensive categorization of essential commonsense knowledge for answering the Winograd Schema Challenge (WSC). For each of the questions, we invite annotators to first provide reasons for making correct decisions and then categorize them into six major knowledge categories. By doing so, we better understand the limitation of existing methods (i.e., what kind of knowledge cannot be effectively represented or inferred with existing methods) and shed some light on the commonsense knowledge that we need to acquire in the future for better commonsense reasoning. Moreover, to investigate whether current WSC models can understand the commonsense or they simply solve the WSC questions based on the statistical bias of the dataset, we leverage the collected reasons to develop a new task called WinoWhy, which requires models to distinguish plausible reasons from very similar but wrong reasons for all WSC questions. Experimental results prove that even though pre-trained language representation models have achieved promising progress on the original WSC dataset, they are still struggling at WinoWhy. Further experiments show that even though supervised models can achieve better performance, the performance of these models can be sensitive to the dataset distribution. WinoWhy and all codes are available at: https://github.com/HKUST-KnowComp/WinoWhy.

研究动机与目标

• 识别并分类解决 Winograd Schema Challenge (WSC) 问题所必需的常识知识类型。
• 探究当前模型是否真正理解常识推理，还是仅依赖 WSC 数据集中的统计偏差。
• 开发一个新的诊断基准 WinoWhy，用于评估模型区分正确与高度相似但错误推理的能力。
• 揭示现有预训练模型和监督模型在理解 WSC 决策背后根本原因方面的局限性。

提出的方法

• 标注者为每个 WSC 问题的正确答案提供了详细的理由，解释所使用的常识知识。
• 理由被系统性地归类为六种知识类型：实体属性、时间推理、空间推理、因果关系、数量和社交规范。
• 通过将每个 WSC 问题与一个正确理由及多个看似合理但错误的理由配对，创建了新任务 WinoWhy。
• 将模型在区分正确理由与一组高度相似的替代理由方面的能力评估为文本分类任务。
• 对多种预训练模型（如 BERT、RoBERTa、GPT-2、BERT-large）和一个 LSTM 基线模型，使用五折交叉验证在 WinoWhy 数据集上进行微调。
• 采用两种数据划分策略：按问题划分（Five-fold q）和按理由划分（Five-fold r），以评估模型对数据分布变化的鲁棒性。

实验结果

研究问题

• RQ1 解决 Winograd Schema Challenge 问题所必需的常识知识类型有哪些？
• RQ2 当前的预训练语言模型在多大程度上理解其预测背后的推理过程，而非依赖数据集偏差？
• RQ3 通过在类似数据集上微调是否能可靠提升模型在 WSC 上的表现，还是这种提升仅源于对统计模式的过拟合？
• RQ4 当训练数据分布发生变化时，监督模型在 WinoWhy 上的鲁棒性如何？

主要发现

• 即使最先进的模型在 WinoWhy 任务上的准确率也仅为 77.77%，表明其在区分正确与看似合理但错误的推理方面存在显著困难。
• 表现最佳的监督模型在五折交叉验证中表现出较高的标准差，尤其是在 'Five-fold (r)' 设置下，表明其对数据分布变化敏感。
• 在 WSCR 或 WinoGrande 上微调可提升模型在 WSC 上的表现，但无法提升其在 WinoWhy 上的表现，表明这些提升可能源于数据集拟合而非深层常识理解。
• 结果表明，当前模型并未真正理解 WSC 答案背后的推理过程，而是依赖训练数据中的统计线索。
• WinoWhy 基准揭示了现有模型无法超越表面模式进行泛化，凸显了对更鲁棒推理机制的迫切需求。