[论文解读] Semi-Supervised Learning, Causality and the Conditional Cluster Assumption

Julius von Kügelgen, Alexander Mey+2 more|arXiv (Cornell University)|May 28, 2019

Machine Learning and Data Classification参考文献 35被引用 11

一句话总结

该论文通过引入因果性，扩展了半监督学习（SSL），表明当信息来自给定因果特征的效应特征条件分布 $P(X_E|X_C)$ 而非仅输入的边缘分布时，未标记数据可提升预测性能。其核心贡献是条件聚类假设，该假设将先前的SSL理论推广至同时包含原因与结果特征的场景，如基于风险因素和症状的医学诊断。

ABSTRACT

While the success of semi-supervised learning (SSL) is still not fully understood, Schölkopf et al. (2012) have established a link to the principle of independent causal mechanisms. They conclude that SSL should be impossible when predicting a target variable from its causes, but possible when predicting it from its effects. Since both these cases are somewhat restrictive, we extend their work by considering classification using cause and effect features at the same time, such as predicting disease from both risk factors and symptoms. While standard SSL exploits information contained in the marginal distribution of all inputs (to improve the estimate of the conditional distribution of the target given inputs), we argue that in our more general setting we should use information in the conditional distribution of effect features given causal features. We explore how this insight generalises the previous understanding, and how it relates to and can be exploited algorithmically for SSL.

研究动机与目标

• 为解决半监督学习（SSL）在实践中为何有效这一理论理解有限的问题，特别是在传统假设（如聚类假设）可能失效的情况下。
• 将SSL与因果性的联系从二元因果/逆因果学习扩展至更现实的场景，即同时使用原因和结果特征进行预测。
• 识别出正确的统计量——具体而言，是给定因果特征的效应特征条件分布 $P(X_E|X_C)$ —— 以使未标记数据能有效提升SSL中的预测性能。
• 开发基于因果结构和条件聚类假设的新SSL算法，提升在现实世界数据（如医学诊断）中的鲁棒性和性能。
• 为利用因果知识指导SSL中未标记数据的使用提供理论与实证基础，特别是在存在潜在混杂或分布偏移的场景下。

提出的方法

• 提出条件聚类假设：未标记数据通过揭示 $P(X_E|X_C)$ 的结构来提升预测性能，其中 $X_C$ 为因果特征，$X_E$ 为效应特征。
• 将经典SSL假设（如聚类假设、低密度分离）重新表述为基于条件分布 $P(X_E|X_C)$ 的形式，而非边缘分布 $P(X)$。
• 开发一种条件自学习算法，通过 $P(Y|X_C, X_E)$ 迭代预测未标记数据的标签，并根据给定原因的效应条件分布更新预测。
• 利用独立因果机制（ICM）原则，证明 $P(X_E|X_C)$ 在 $X_C$ 为外生变量时具有稳定性和信息性，适用于SSL。
• 采用两阶段学习流程：首先从未标记数据中估计 $P(X_E|X_C)$，然后利用该分布通过标签传播或生成建模改进 $P(Y|X_C, X_E)$。
• 应用基于约束、基于不变性或基于方差惩罚的方法，检测跨领域中稳定的因果特征，实现在分布偏移下的鲁棒SSL。

实验结果

研究问题

• RQ1 当输入中同时存在原因和结果特征时，如何从理论上解释半监督学习的有效性？
• RQ2 在SSL中，未标记数据应告知的正确统计量是边缘分布 $P(X)$ 还是条件分布 $P(X_E|X_C)$，以提升预测性能？
• RQ3 独立因果机制（ICM）原则能否用于在纯粹因果或逆因果学习之外的更广泛SSL场景中，解释未标记数据的有效使用？
• RQ4 条件聚类假设如何推广经典聚类假设？其对算法设计有何影响？
• RQ5 在现实应用（如医学诊断）中，因果结构（如已知的原因-结果划分）在多大程度上能提升SSL算法的性能与鲁棒性？

主要发现

• 该论文确立了在同时包含因果与效应特征的半监督学习中，未标记数据的相关信息存在于条件分布 $P(X_E|X_C)$ 中，而非边缘分布 $P(X)$。
• 条件聚类假设推广了经典聚类假设，为包含因果与效应特征混合的SSL场景提供了更稳健的理论基础。
• 在合成数据集和医学数据集上的实证评估表明，所提算法在因果结构已知时，显著优于标准SSL基线。
• 当 $P(X_C)$ 发生变化时，只要 $P(Y|X_C)$ 和 $P(X_E|Y,X_C)$ 保持不变，该方法仍具鲁棒性，表明其在领域自适应中的潜力。
• 理论分析证实，当从给定原因的效应进行预测时，SSL是可行的，该结论扩展了Schölkopf等人（2012）的洞察，适用于更广泛的问题类别。
• 该方法在弱混杂条件下依然有效，且可通过现有因果发现技术检测潜在混杂因子加以增强。