[论文解读] Towards Fine-grained Causal Reasoning and QA

Linyi Yang, Zhen Wang+3 more|arXiv (Cornell University)|Apr 15, 2022

Topic Modeling被引用 7

一句话总结

本文提出了细粒度因果推理（FCR）数据集，这是一个人工标注的资源，包含25,193对因果对以及24,486个跨多句上下文的问题-答案对，支持三项新型自然语言处理任务：因果关系检测、细粒度因果关系抽取和因果问答（Causal QA）。尽管最先进模型的准确率达到了74.1%，但人类表现达到了90.53%，揭示了显著差距，凸显了在自然语言处理中发展‘因果思维’方法的必要性。

ABSTRACT

Understanding causality is key to the success of NLP applications, especially in high-stakes domains. Causality comes in various perspectives such as enable and prevent that, despite their importance, have been largely ignored in the literature. This paper introduces a novel fine-grained causal reasoning dataset and presents a series of novel predictive tasks in NLP, such as causality detection, event causality extraction, and Causal QA. Our dataset contains human annotations of 25K cause-effect event pairs and 24K question-answering pairs within multi-sentence samples, where each can have multiple causal relationships. Through extensive experiments and analysis, we show that the complex relations in our dataset bring unique challenges to state-of-the-art methods across all three tasks and highlight potential research opportunities, especially in developing "causal-thinking" methods.

研究动机与目标

• 通过引入一个捕捉超越简单‘原因’概念的细微因果关系的数据集，解决自然语言处理中细粒度因果推理的缺失问题。
• 在丰富标注的数据集上，开发并评估三项新型自然语言处理任务：因果关系检测、细粒度因果关系抽取和因果问答（Causal QA）。
• 揭示当前预训练语言模型在推理‘使能’和‘阻止’关系方面的能力局限，这些关系在现有数据集中常被忽略。
• 通过人工标注的多关系数据，为医学和金融等高风险领域中因果推理的推进提供基准。
• 激发对‘因果思维’模型的研究，使其能够更好地处理复杂、多句的因果关系以及‘为什么’和‘如果……会怎样’类问题。

提出的方法

• 从金融和医疗文本中构建了一个包含25,193对因果事件和24,486个问题-答案对的人工标注数据集，涵盖三种细粒度关系：原因、使能和阻止。
• 定义了三项新型自然语言处理任务：因果关系检测（识别因果关系）、细粒度因果关系抽取（分类关系类型）和因果问答（Causal QA，回答基于因果推理的‘为什么’和‘如果……会怎样’问题）。
• 使用RoBERTa-Large及其他最先进模型，在所有三项任务上评估性能，并与人工标注的黄金标准进行比较。
• 设计了聚焦于‘为什么’和‘如果……会怎样’推理的问题模板，以探测模型对因果机制和反事实的理解程度。
• 进行了定性错误分析，识别出模型的典型失败模式，如对问题附近短语的依赖或对介词的误读。
• 在CC-BY-NC-SA许可下发布数据集和代码，以促进可复现性和社区研究。

实验结果

研究问题

• RQ1 最先进预训练语言模型能否在多句上下文中准确检测和分类细粒度因果关系（原因、使能、阻止）？
• RQ2 与人类表现相比，模型在涉及‘为什么’和‘如果……会怎样’问题的因果问答任务上的表现如何？
• RQ3 当前模型在因果推理中的主要失败模式是什么，特别是在上下文长度和句法邻近性方面？
• RQ4 在因果推理系统中引入使能和阻止关系在多大程度上能提升其鲁棒性和可解释性？
• RQ5 所提出的数据集在多大程度上可作为开发超越统计相关性的‘因果思维’模型的基准？

主要发现

• 表现最佳的模型（RoBERTa-SQuAD）在因果问答任务上的精确匹配率达到61.6%，远低于人类表现的90.53%，表明因果推理能力存在显著差距。
• 最先进模型在细粒度因果关系抽取任务上的准确率为74.1%，远低于人类上限的90.53%，揭示了在区分使能和阻止关系方面仍存在持续挑战。
• 错误分析显示，当因果前件在句法上远离问题时，模型常无法识别正确前件，反而选择最近的短语。
• 模型经常将介词如‘通过’误认为是因果机制的指示词，即使正确前件存在，也会导致错误答案。
• FCR数据集在复杂性上优于现有数据集（如FinCausal和SQuAD），因其支持多关系、多句因果推理和丰富的问题类型。
• 结果表明，当前最先进模型在推理因果机制和反事实方面存在困难，尤其当关系并非简单的‘原因’，而是涉及使能或阻止时。