[论文解读] Parameter and Structure Learning in Nested Markov Models

Ilya Shpitser, Thomas S. Richardson+2 more|arXiv (Cornell University)|Jul 20, 2012

Bayesian Modeling and Causal Inference参考文献 15被引用 15

一句话总结

本文提出了一种基于嵌套分解的离散参数化方法，用于嵌套马尔可夫模型的参数拟合与结构学习，该方法捕捉了条件独立性以及截断后独立性（即在具有潜变量的DAG中固定操作所引致的等式约束）。主要贡献在于提出了一种基于BIC的搜索与评分算法，能够区分在标准条件独立性下无法区分的因果结构，从而在潜变量设定下实现更精确的因果发现。

ABSTRACT

The constraints arising from DAG models with latent variables can be naturally represented by means of acyclic directed mixed graphs (ADMGs). Such graphs contain directed and bidirected arrows, and contain no directed cycles. DAGs with latent variables imply independence constraints in the distribution resulting from a 'fixing' operation, in which a joint distribution is divided by a conditional. This operation generalizes marginalizing and conditioning. Some of these constraints correspond to identifiable 'dormant' independence constraints, with the well known 'Verma constraint' as one example. Recently, models defined by a set of the constraints arising after fixing from a DAG with latents, were characterized via a recursive factorization and a nested Markov property. In addition, a parameterization was given in the discrete case. In this paper we use this parameterization to describe a parameter fitting algorithm, and a search and score structure learning algorithm for these nested Markov models. We apply our algorithms to a variety of datasets.

研究动机与目标

• 为解决在潜变量DAG模型中结构学习的挑战，其中标准条件独立性约束不足以区分模型。
• 基于新建立的嵌套分解，开发一种离散嵌套马尔可夫模型的参数拟合算法。
• 设计一种利用截断后独立性约束的搜索与评分结构学习算法，以在标准条件独立性之外提升模型区分能力。
• 通过实证验证算法从数据中恢复真实因果结构的能力，特别是在缺乏标准条件独立性约束的情况下。
• 对四节点混合图的等价类进行猜想并提供证据，基于截断后约束进行表征。

提出的方法

• 使用离散嵌套马尔可夫模型的嵌套分解，该分解将标准马尔可夫图与链式图因子分解推广至包含截断后独立性约束。
• 通过基于离散参数化的参数拟合算法应用最大似然估计（MLE）来估计模型参数。
• 采用基于BIC的评分函数评估候选混合图结构，同时整合条件独立性与截断后约束。
• 通过在混合图空间中进行搜索，以BIC评分为导向，识别最优的ADMG结构。
• 在从已知潜变量DAG生成的模拟数据集上验证算法，使用潜变量投影推导出相应的ADMG。
• 使用Q-FIT计算等价类中的对数似然值，以检验四节点模型在截断后约束下的等价性猜想。

实验结果

研究问题

• RQ1 能否基于其嵌套分解，为离散嵌套马尔可夫模型开发一种参数拟合算法？
• RQ2 能否构建一种利用截断后独立性约束的搜索与评分结构学习算法，以区分在标准条件独立性下无法区分的模型？
• RQ3 在四节点混合图模型中，截断后独立性约束有多普遍？它们是否显著提升了模型区分能力？
• RQ4 当不存在标准条件独立性约束时，所提出的算法能否正确从数据中恢复出底层的ADMG结构？
• RQ5 混合图的等价类能否通过其共享的截断后独立性约束进行表征，特别是在四节点系统中？

主要发现

• 所提出的参数拟合算法成功基于离散嵌套分解，利用最大似然估计准确估计了模型参数。
• 基于BIC的结构学习算法在模拟数据中正确识别了真实ADMG结构，即使在缺乏标准条件独立性约束的情况下亦然。
• 截断后独立性约束并不罕见：在约25%的四节点混合图等价类中存在，表明其在潜变量建模中具有广泛相关性。
• 该算法能够区分在标准条件独立性下无法区分的模型，例如图6所示的等价类（包含24个类，每类含5个图）。
• 使用Q-FIT进行的实证验证表明，推测等价类内的对数似然值完全相同，支持了四节点模型等价性的猜想。
• 嵌套分解与截断后约束提供了因果解释，作为休眠独立性约束，使在潜变量系统中识别直接效应与联合效应成为可能。