[论文解读] The Causal-Neural Connection: Expressiveness, Learnability, and Inference

Kevin Xia, Kai-Zhan Lee+2 more|arXiv (Cornell University)|Jul 1, 2021

Bayesian Modeling and Causal Inference被引用 20

一句话总结

本文提出了神经因果模型（NCMs），这是一种新型神经网络，通过编码结构化因果约束，实现因果可识别性与估计。尽管神经网络具有通用表达能力，作者证明了标准模型仅凭观测数据无法学习干预效果，这是因果层次结构固有的局限。NCMs 通过嵌入因果结构克服了这一问题，实现了因果推理任务的端到端优化，具有可证明的可识别性与模拟中的精确估计。

ABSTRACT

One of the central elements of any causal inference is an object called structural causal model (SCM), which represents a collection of mechanisms and exogenous sources of random variation of the system under investigation (Pearl, 2000). An important property of many kinds of neural networks is universal approximability: the ability to approximate any function to arbitrary precision. Given this property, one may be tempted to surmise that a collection of neural nets is capable of learning any SCM by training on data generated by that SCM. In this paper, we show this is not the case by disentangling the notions of expressivity and learnability. Specifically, we show that the causal hierarchy theorem (Thm. 1, Bareinboim et al., 2020), which describes the limits of what can be learned from data, still holds for neural models. For instance, an arbitrarily complex and expressive neural net is unable to predict the effects of interventions given observational data alone. Given this result, we introduce a special type of SCM called a neural causal model (NCM), and formalize a new type of inductive bias to encode structural constraints necessary for performing causal inferences. Building on this new class of models, we focus on solving two canonical tasks found in the literature known as causal identification and estimation. Leveraging the neural toolbox, we develop an algorithm that is both sufficient and necessary to determine whether a causal effect can be learned from data (i.e., causal identifiability); it then estimates the effect whenever identifiability holds (causal estimation). Simulations corroborate the proposed approach.

研究动机与目标

• 解决神经网络的通用函数逼近能力与其仅凭观测数据无法推断干预效果之间的差距。
• 形式化一种新的归纳偏置，以编码神经模型中因果推理所必需的结构约束。
• 开发一个统一框架，利用神经因果模型（NCMs）在单一优化过程中确定因果可识别性并估计因果效应。
• 证明神经网络能够执行因果推理——特别是可识别性——而不仅仅是函数拟合。
• 提供一个代理模型框架，支持观测分布与干预分布的生成建模，实现完整因果流程的学习。

提出的方法

• 提出一种神经因果模型（NCM），将结构化因果约束嵌入神经架构中，确保与因果层次结构的兼容性。
• 制定一个可微分的优化目标，通过变分推理框架联合学习观测分布 $P(V)$ 和干预分布 $P(y \mid do(x))$。
• 引入一个动态超参数 $\lambda$，在学习 $P(V)$ 与优化 $P(y \mid do(x))$ 之间实现注意力平衡，初始值较高并在训练过程中衰减，以确保分布学习的准确性。
• 开发算法 1，一种基于神经优化的方法，通过检查 $P(y \mid do(x))$ 是否能从 $P(V)$ 唯一确定，来判断因果可识别性。
• 采用代理模型方法，使 NCM 在匹配真实 SCM 的观测层的同时，仍具备推断更高阶因果层的能力。
• 利用因果层次定理（Bareinboim 等，2020）证明，即使表达能力极强的神经网络，若缺乏结构约束，也无法绕过可识别性的限制。

实验结果

研究问题

• RQ1 仅在观测数据上训练的神经网络能否推断干预效果，尽管其具有通用逼近能力？
• RQ2 神经网络要执行因果推理（如判断因果效应是否可识别）需要哪些归纳偏置？
• RQ3 单一神经模型能否同时确定因果可识别性并估计干预分布？
• RQ4 在神经模型中引入结构约束如何影响其在因果推理任务中的泛化能力？
• RQ5 为确保 $P(y \mid do(x))$ 的准确估计并保持与 $P(V)$ 的一致性，需要哪些训练动态与优化策略？

主要发现

• 尽管具有通用表达能力，标准神经网络仅凭观测数据仍无法推断干预效果，这是因果层次结构的固有限制所致。
• 所提出的神经因果模型（NCM）通过端到端可微分优化，成功实现了因果可识别性的确定与干预分布的估计。
• 动态超参数 $\lambda$ 实现了学习观测分布与优化干预查询之间的有效权衡，提升了收敛性与准确性。
• 模拟结果表明，当训练误差最小时，该方法在可识别性检测与估计方面均表现出高精度，验证了方法的鲁棒性。
• 该框架支持观测分布与干预分布的生成建模，其适用范围广于仅针对查询的估计方法。
• 本工作首次证明，通过嵌入结构化因果约束，神经网络能够执行因果推理（特别是可识别性），而不仅仅是函数逼近。