[论文解读] Towards a Learning Theory of Cause-Effect Inference

David López-Paz, Krikamol Muandet+2 more|arXiv (Cornell University)|Feb 9, 2015

Bayesian Modeling and Causal Inference参考文献 25被引用 43

一句话总结

本文提出了一种基于学习理论的因果推断框架，将因果方向分类视为分布级别的学习问题。该方法使用核均值嵌入表示数据分布，并训练二分类器以区分因果方向，在实现最先进性能的同时，具备理论一致性的保证和泛化界。

ABSTRACT

We pose causal inference as the problem of learning to classify probability distributions. In particular, we assume access to a collection $\{(S_i,l_i)\}_{i=1}^n$, where each $S_i$ is a sample drawn from the probability distribution of $X_i imes Y_i$, and $l_i$ is a binary label indicating whether "$X_i o Y_i$" or "$X_i \leftarrow Y_i$". Given these data, we build a causal inference rule in two steps. First, we featurize each $S_i$ using the kernel mean embedding associated with some characteristic kernel. Second, we train a binary classifier on such embeddings to distinguish between causal directions. We present generalization bounds showing the statistical consistency and learning rates of the proposed approach, and provide a simple implementation that achieves state-of-the-art cause-effect inference. Furthermore, we extend our ideas to infer causal relationships between more than two variables.

研究动机与目标

• 解决从纯观测数据中进行因果推断的挑战，其中干预不可行。
• 克服现有方法依赖强且难以验证的假设（例如非高斯性、线性性）的局限性。
• 开发一种灵活、数据驱动的方法，直接从数据中学习因果痕迹，而无需事先指定可识别性条件。
• 通过统一的学习框架，在复杂、非线性和多变量设置中实现因果推断。
• 为所提出方法提供泛化性和学习速率方面的理论保证。

提出的方法

• 使用特征核的核均值嵌入，将每个观测数据样本 $ S_i $ 表示为一个概率分布。
• 将每个经验分布映射到再生核希尔伯特空间（RKHS）中的特征向量，以实现非参数化表示。
• 在嵌入特征上训练二分类器（例如SVM），以区分 $ X_i \to Y_i $ 和 $ X_i \leftarrow Y_i $。
• 推导泛化界，以确保分类器性能的统计一致性与学习速率。
• 通过从合成训练数据中学习因果DAG，将框架扩展至多变量因果发现，并应用相同的分类策略。
• 利用分类器的置信度分数，推断时间序列和多变量设置中的因果方向。

实验结果

研究问题

• RQ1 能否使用核嵌入将因果推断形式化为分布级别的分类问题？
• RQ2 对于此类基于学习的因果推断框架，可建立哪些理论保证（例如一致性、学习速率）？
• RQ3 与最先进方法相比，该方法在双变量和多变量设置下对未见数据的泛化能力如何？
• RQ4 该方法能否直接从数据中学习检测潜在混淆和条件独立性，而无需手工设计特征？
• RQ5 该框架在真实世界数据集中，从观测数据中重建因果DAG的能力在多大程度上是有效的？

主要发现

• 在ChaLearn挑战数据上，该方法在1.5分钟内实现了0.74的测试双向曲线下面积（AUC）得分，总体排名第三。
• 在脑电图时间序列任务中，该方法在推断时间箭头方面达到了82.66%的准确率，与Peters等人（2009）的性能相当，且无需参数模型假设。
• 分类器在检测潜在混淆方面达到80%的准确率（即区分 $ X \to Y $ 与 $ X \leftarrow Z \to Y $），在测量依赖性方面达到88%的准确率（即区分 $ X \perp\!\!\perp Y $ 与依赖情形）。
• 该框架成功重建了autoMPG和abalone数据集的因果DAG，揭示autoMPG是因果预测任务（特征导致目标），而abalone是反因果（目标导致特征）。
• 理论分析证实了所提学习型因果推断规则的统计一致性，并提供了学习速率。
• 该方法在多变量设置中泛化良好，且无需假设特定参数形式或条件独立性结构，即可实现因果结构发现。