[论文解读] Robust Learning via Cause-Effect Models

Bernhard Schölkopf, Dominik Janzing+2 more|arXiv (Cornell University)|Dec 12, 2011

Data Stream Mining Techniques参考文献 7被引用 4

一句话总结

本文提出使用因果-效应模型——特别是加法噪声模型（ANM）——来提升机器学习在分布偏移下的鲁棒性。通过利用因果机制的不变性（例如 E = φ(C) + N_E 中的函数 φ），该方法可识别数据变化是由原因（C）的偏移还是噪声（N_E）的偏移引起，从而在协变量偏移或概念漂移下实现条件分布的准确估计。

ABSTRACT

We consider the problem of function estimation in the case where the data distribution may shift between training and test time, and additional information about it may be available at test time. This relates to popular scenarios such as covariate shift, concept drift, transfer learning and semi-supervised learning. This working paper discusses how these tasks could be tackled depending on the kind of changes of the distributions. It argues that knowledge of an underlying causal direction can facilitate several of these tasks.

研究动机与目标

• 解决机器学习中训练与测试数据分布不同的分布偏移挑战。
• 研究因果结构——特别是因果方向——如何在这些偏移下提升模型鲁棒性。
• 在仅能获得边缘测试数据 P'(E) 的前提下，开发一种方法以区分原因分布 P(C) 与噪声分布 P(N_E) 的变化。
• 通过利用因果机制 φ 的不变性，估计在分布偏移下真实的条件分布 P'(E|C)。
• 提供一种基于因果不变性原理的框架，以实现协变量偏移、概念漂移和迁移学习等场景下的鲁棒预测。

提出的方法

• 使用加法噪声模型建模原因 C 与效应 E 之间的因果关系：E = φ(C) + N_E，假设 φ 未知但跨分布共享。
• 使用去卷积技术从观测到的测试边缘分布 P'(E) 估计噪声分布 P'(N_E)，假设 P(φ(C)) 可从训练数据中获得。
• 通过检查哪种去卷积能产生有效概率分布来判断分布偏移影响的是 P(C) 还是 P(E|C)：P'(E) *^{-1} P(φ(C)) 或 P'(E) *^{-1} P(N_E)。
• 应用文献 [12] 中的算法，估计多个数据集上共享的因果函数 φ，强制在条件 ANM 框架下满足条件独立性 C ⊥⊥ N_E 与 C' ⊥⊥ N_E'。
• 利用因果机制 φ 的不变性，在新测试条件下估计 P'(E|C)，即使 P(C) 或 P(N_E) 发生变化。
• 利用非线性 ANM 的可识别性推断因果方向，并在弱假设下确保仅 P(C) 或 P(E|C) 中之一可导致观测到的分布偏移。

实验结果

研究问题

• RQ1 对因果方向（C → E）的了解是否能提升机器学习在分布偏移下的鲁棒性？
• RQ2 在仅能观测边缘分布 P'(E) 的前提下，何种条件下可区分 P(C) 与 P(N_E) 的变化？
• RQ3 能否利用因果机制 φ 的不变性来估计分布偏移下的真实条件分布 P'(E|C)？
• RQ4 对分布（如不可分解性、高斯噪声）的何种假设可确保仅 P(C) 或 P(E|C) 中之一可导致偏移？
• RQ5 如何利用条件加法噪声模型（ANMs）在具有不同分布的多个数据集中学习共享的因果函数 φ？

主要发现

• 该方法通过在测试边缘 P'(E) 上应用去卷积，成功区分了 P(C) 与 P(N_E) 的变化，前提是因果函数 φ 保持不变。
• 当 P(φ(C)) 不可分解且 P(N_E) 为零均值高斯分布时，去卷积可唯一恢复 P(φ(C))，从而实现对分布偏移来源的识别。
• 当以 P(φ(C)) 进行去卷积可得到有效分布，而以 P(N_E) 进行去卷积则不能时，该方法正确识别出 P(E|C) 已改变，表明噪声分布发生了偏移。
• 通过去卷积恢复 P'(N_E)，该方法在假设 P(C) 和 φ 保持不变的前提下，实现了对 P'(E|C) 的准确估计。
• 该方法在合理假设下表现鲁棒，如加法噪声配合非线性函数及独立噪声，并可在二变量情况下识别因果方向。
• 该框架通过利用因果机制 φ 的不变性，支持迁移学习以及协变量偏移和概念漂移场景下的鲁棒预测。