[论文解读] ROCK: Causal Inference Principles for Reasoning about Commonsense Causality

Jiayao Zhang, Hongming Zhang+2 more|arXiv (Cornell University)|Jan 31, 2022

Topic Modeling被引用 6

一句话总结

ROCK 提出了一种新颖的因果推断框架，用于常识因果推理（CCR），通过潜在结果和时间倾向得分建模事件因果关系。它利用预训练语言模型估计干预效应，同时通过时间倾向匹配减轻混淆因素的影响，在 CCR 基准上实现了强大的零样本性能。

ABSTRACT

Commonsense causality reasoning (CCR) aims at identifying plausible causes and effects in natural language descriptions that are deemed reasonable by an average person. Although being of great academic and practical interest, this problem is still shadowed by the lack of a well-posed theoretical framework; existing work usually relies on deep language models wholeheartedly, and is potentially susceptible to confounding co-occurrences. Motivated by classical causal principles, we articulate the central question of CCR and draw parallels between human subjects in observational studies and natural languages to adopt CCR to the potential-outcomes framework, which is the first such attempt for commonsense tasks. We propose a novel framework, ROCK, to Reason O(A)bout Commonsense K(C)ausality, which utilizes temporal signals as incidental supervision, and balances confounding effects using temporal propensities that are analogous to propensity scores. The ROCK implementation is modular and zero-shot, and demonstrates good CCR capabilities.

研究动机与目标

• 为自然语言处理中常识因果推理（CCR）缺乏正式的理论框架提供解决方案。
• 使用潜在结果框架对自然语言事件中的因果关系进行建模，将语言序列视为观察单位。
• 通过时间倾向得分作为协变量平衡的代理，减轻 CCR 中由混淆共现引起的虚假相关性。
• 通过利用预训练语言模型和时间顺序作为偶然监督，实现零样本 CCR。
• 提供一种模块化、理论基础扎实的方法，用于估计自然语言事件之间的因果效应。

提出的方法

• 将 CCR 形式化为使用潜在结果框架估计平均处理效应（ATE），其中处理为对原因事件 E1 进行干预。
• 将因果 estimand 定义为 ∆ = P(E1 ≺ E2) − P(¬E1 ≺ E2)，其中概率通过预训练语言模型中的掩码语言建模进行估计。
• 引入时间倾向得分为潜在得分的替代指标，从预事件协变量分布中计算，以平衡混淆因素。
• 在时间倾向得分上使用最近邻匹配，为因果效应估计创建平衡的干预组和对照组。
• 采用模块化流程：(1) 提取事件对和预事件协变量，(2) 计算时间倾向得分，(3) 匹配干预，(4) 通过语言模型估计 P(E1 ≺ E2) 和 P(¬E1 ≺ E2)。
• 在无需微调的零样本设置下应用该框架，完全依赖预训练模型和时间结构。

实验结果

研究问题

• RQ1 是否可以使用因果推断中的潜在结果框架对常识因果推理进行形式化？
• RQ2 如何利用自然语言中的时间顺序作为偶然监督，实现无标注因果关系注释的因果推理？
• RQ3 时间倾向得分在多大程度上能减轻 CCR 中的混淆共现问题，例如个人饥饿对事件序列的影响？
• RQ4 基于因果推断原则的零样本框架是否能在常识因果任务上超越标准语言模型基线？
• RQ5 当仅靠时间顺序不足以推断因果关系时，该方法对虚假相关性的鲁棒性如何？

主要发现

• ROCK 在 COPA 数据集上实现了最先进的零样本性能，优于仅依赖预训练语言模型的强基线模型。
• 该方法显著减少了由混淆事件引起的虚假相关性——例如，在饥饿（X1）混淆了进入餐厅（E1）与点披萨（E2）之间因果关系的案例中。
• 当混淆未被平衡时，估计的因果效应 ∆ 存在偏差；然而，在基于时间倾向得分进行匹配后，效应估计变得更加可靠且可解释。
• 时间倾向得分的使用有效平衡了干预组和对照组之间的协变量，减少了因果效应估计中的偏差。
• 该框架表明，即使没有显式的因果监督，时间结构与语言模型概率的结合也能产生有意义的因果推断。
• 在 E1：'他缝补了裤子上的破洞' 和 E2：'那人走路时裤子发出叮当声' 的例子中，ROCK 通过考虑'他口袋里什么都没有'或'没有破洞'等协变量，正确识别了因果合理性。