[论文解读] On Causal and Anticausal Learning

Bernhard Schoelkopf, Dominik Janzing+4 more|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 10被引用 127

一句话总结

本文研究了因果结构对机器学习的影响，特别是在半监督学习和迁移学习中的应用。作者提出，因果模型（输入导致输出）比反因果模型（输出导致输入）具有更好的泛化能力，实证验证表明，半监督学习仅在真实数据生成过程为因果时才有效，而非反因果时。

ABSTRACT

We consider the problem of function estimation in the case where an underlying causal model can be inferred. This has implications for popular scenarios such as covariate shift, concept drift, transfer learning and semi-supervised learning. We argue that causal knowledge may facilitate some approaches for a given problem, and rule out others. In particular, we formulate a hypothesis for when semi-supervised learning can help, and corroborate it with empirical results.

研究动机与目标

• 理解因果结构如何影响半监督学习和迁移学习等机器学习方法的性能。
• 研究因果知识是否能指导针对特定问题选择合适的机器学习算法。
• 检验半监督学习仅在底层数据生成过程为因果时才有效的假设。
• 为因果性在分布偏移下提升模型泛化能力的作用提供理论和实证依据。

提出的方法

• 作者区分了因果学习（X → Y）与反因果学习（Y → X），分析其对函数估计的影响。
• 通过结构方程模型形式化问题，研究因果方向如何影响半监督学习的可行性。
• 该方法使用基准数据集，在协变量偏移和概念漂移场景下，比较不同因果假设下的学习性能。
• 在真实世界数据集上进行实证评估，以检验半监督学习仅在真实模型为因果时才有效的假设。
• 该方法利用领域偏移和分布偏移场景，模拟真实世界的学习挑战。

实验结果

研究问题

• RQ1 在何种条件下，半监督学习能提供性能提升？
• RQ2 因果方向（X → Y 与 Y → X）如何影响机器学习模型的泛化能力？
• RQ3 因果结构能否用于排除某些学习方法作为无效方法？
• RQ4 为何在反因果设置下，即使有标签和未标记数据，半监督学习仍会失败？

主要发现

• 仅当真实数据生成过程为因果（X → Y）时，半监督学习才能带来显著的性能提升，而非反因果（Y → X）时则不能。
• 在基准数据集上的实证结果证实，未标记数据的效益取决于底层模型的因果方向。
• 本文证明，反因果模型即使存在未标记数据，也无法实现有意义的泛化。
• 因果结构为判断在特定场景下半监督学习是否可能成功提供了原则性依据。