[论文解读] Switching Regression Models and Causal Inference in the Presence of Discrete Latent Variables

Rune Christiansen, Jonas Peters|arXiv (Cornell University)|Aug 16, 2018

Bayesian Modeling and Causal Inference参考文献 56被引用 5

一句话总结

本文提出一种因果发现方法 ICPH，可在某些因果父变量未被观测且取离散值的情况下，从可观测的预测变量 X 中识别出响应变量 Y 的直接原因。通过将不变性原则扩展至隐变量并引入 h-不变性，该方法利用切换回归模型与似然比检验进行模型相等性检验，可在较弱条件下实现渐近受控的假发现率，且在模拟与真实数据中表现出稳健性能。

ABSTRACT

Given a response $Y$ and a vector $X = (X^1, \dots, X^d)$ of $d$ predictors, we investigate the problem of inferring direct causes of $Y$ among the vector $X$. Models for $Y$ that use all of its causal covariates as predictors enjoy the property of being invariant across different environments or interventional settings. Given data from such environments, this property has been exploited for causal discovery. Here, we extend this inference principle to situations in which some (discrete-valued) direct causes of $ Y $ are unobserved. Such cases naturally give rise to switching regression models. We provide sufficient conditions for the existence, consistency and asymptotic normality of the MLE in linear switching regression models with Gaussian noise, and construct a test for the equality of such models. These results allow us to prove that the proposed causal discovery method obtains asymptotic false discovery control under mild conditions. We provide an algorithm, make available code, and test our method on simulated data. It is robust against model violations and outperforms state-of-the-art approaches. We further apply our method to a real data set, where we show that it does not only output causal predictors, but also a process-based clustering of data points, which could be of additional interest to practitioners.

研究动机与目标

• 解决响应变量 Y 的某些直接原因未被观测且取离散值的因果发现问题。
• 通过引入 h-不变性，将观测因果发现中使用的不变性原则扩展至存在隐离散变量的情形。
• 开发一种用于比较不同环境中切换回归模型相等性的统计检验方法，以支持在模型误设情况下的因果推断。
• 提出一种方法，在因果父变量部分未被观测时仍能保持渐近假发现率控制。
• 通过模拟与真实世界数据应用（包括基于潜状态的聚类）展示方法的稳健性与实际应用价值。

提出的方法

• 提出 h-不变性作为标准不变性的松弛形式，假设在对离散隐变量 H 条件化后，Y 对 X 的回归系数在不同环境中保持不变。
• 将系统建模为线性切换回归模型：对于 H 的每个取值，Y 遵循具有不同系数的独立线性模型。
• 推导出在具有高斯噪声的线性切换回归模型中，最大似然估计量（MLE）的存在性、一致性与渐近正态性的充分条件。
• 提出一种用于比较不同环境中切换回归模型相等性的似然比检验，确保渐近显著性水平控制。
• 设计一种算法（ICPH），在预测变量子集上测试 h-不变性，并选择在隐变量结构下保持不变的变量。
• 通过 Lasso 等方法进行变量筛选以提升高维场景下的可扩展性，并利用最大 p 值策略支持未知或多个潜状态。

实验结果

研究问题

• RQ1 不变性原则能否被扩展至存在离散未观测混淆变量的情形，以实现因果发现？
• RQ2 在具有隐离散状态的切换回归模型中，最大似然估计量在何种条件下存在且保持一致？
• RQ3 能否构建一种有效的统计检验方法，用于比较不同环境下的切换回归模型？
• RQ4 当某些因果原因未被观测时，所提出的方法是否能实现因果预测变量选择的渐近假发现率控制？
• RQ5 在有限样本中，该方法对 h-不变性假设的违反与模型误设的稳健性如何？

主要发现

• 在较弱正则性条件下，具有高斯噪声的线性切换回归模型中的 MLE 保持一致且渐近正态。
• 所提出的用于比较切换回归模型相等性的似然比检验实现了渐近显著性水平控制，支持有效推断。
• 在 h-不变性假设下，ICPH 即使在部分因果父变量未被观测时，仍能实现渐近假发现率控制。
• 在模拟中，该方法保持了第一类错误控制，并能恢复因果预测变量（X¹ 与 X²），即使潜状态数量未知，尽管统计功效随状态数增加而下降。
• ICPH 在 h-不变性假设的轻微违反下仍具稳健性，即使干预轻微扰动了系数，也能成功识别因果变量。
• 在高维场景下，将 ICPH 与 Lasso 筛选结合可保持性能，实现对大量预测变量的有效因果发现。