[论文解读] The Randomized Causation Coefficient

David López-Paz, Krikamol Muandet+1 more|arXiv (Cornell University)|Sep 15, 2014

Bayesian Modeling and Causal Inference参考文献 19被引用 13

一句话总结

本文提出随机因果系数（RCC），一种数据驱动方法，通过将因果关系建模为核均值嵌入分类问题，学习两个随机变量之间的因果方向。该方法在ChaLearn快速因果系数挑战赛中表现优异，总排名第三，并以不到两分钟的时间在测试数据上实现了0.732843的双向AUC，荣获最快代码奖。

ABSTRACT

We are interested in learning causal relationships between pairs of random variables, purely from observational data. To effectively address this task, the state-of-the-art relies on strong assumptions regarding the mechanisms mapping causes to effects, such as invertibility or the existence of additive noise, which only hold in limited situations. On the contrary, this short paper proposes to learn how to perform causal inference directly from data, and without the need of feature engineering. In particular, we pose causality as a kernel mean embedding classification problem, where inputs are samples from arbitrary probability distributions on pairs of random variables, and labels are types of causal relationships. We validate the performance of our method on synthetic and real-world data against the state-of-the-art. Moreover, we submitted our algorithm to the ChaLearn's "Fast Causation Coefficient Challenge" competition, with which we won the fastest code prize and ranked third in the overall leaderboard.

研究动机与目标

• 开发一种通用的、无需强参数假设的数据驱动方法，用于两个随机变量之间的因果推断。
• 直接从观测数据中学习因果关系，避免手动特征工程或如加法噪声、可逆性等特定领域假设。
• 通过将因果关系建模为分布特征上的监督分类问题，实现可扩展且高效的因果发现。
• 在合成数据和真实世界数据（包括ChaLearn挑战赛）上验证该方法，展示其鲁棒性和高效性。

提出的方法

• 该方法使用随机傅里叶特征将两个随机变量的联合分布表示为核均值嵌入，将样本转换为固定维数的特征向量。
• 将因果推断建模为二分类任务：利用这些嵌入特征区分X→Y与Y→X。
• 采用两阶段分类器：首先，梯度提升分类器区分因果对与非因果对；其次，另一分类器在已识别的因果对中判断因果方向。
• 最终的因果系数计算为因果概率与方向符号置信度得分的乘积。
• 该方法利用从核均值嵌入中提取的分布特征，实现端到端学习，无需手工设计统计量。
• 该方法在成对分布及其因果关系的标注数据上进行训练，测试时推理时间在ChaLearn数据集上少于两分钟。

实验结果

研究问题

• RQ1 能否在不假设特定结构模型（如加法噪声或可逆性）的前提下，直接从观测数据中学习随机变量之间的因果关系？
• RQ2 数据驱动方法能否在包括人工和真实世界因果对在内的多样化数据分布上实现泛化？
• RQ3 仅使用从核均值嵌入中提取的分布特征，是否可能实现高精度的因果方向推断？
• RQ4 与IGCI等传统因果推断方法相比，端到端学习的分类器在真实世界数据上的表现如何？

主要发现

• 随机因果系数在ChaLearn挑战赛测试集上实现了0.732843的双向AUC，总排名第三，并荣获最快代码奖。
• 该方法在相同数据集上优于IGCI，后者的性能仅略好于随机猜测，表明基于模型的方法在复杂数据上存在局限性。
• RCC方法以极低的计算成本实现高性能，处理测试集耗时不足两分钟，显著快于获胜提交（耗时30分钟）。
• 该方法在异质数据上表现出鲁棒性，包括18%的真实世界因果对和82%的人工因果对，表明其具有广泛适用性。
• 随机傅里叶特征的使用实现了复杂分布的高效且有效的特征工程，支持从数据中学习因果模式的可行性。