[论文解读] Sequences of regressions and their independences

Nanny Wermuth, Kayvan Sadeghi|arXiv (Cornell University)|Mar 13, 2011

Bayesian Modeling and Causal Inference参考文献 83被引用 4

一句话总结

本文将回归图作为有向无环图的推广，用于在高斯类似假设下建模一系列单变量或多元回归，捕捉条件独立性。它建立了寻找马尔可夫等价有向无环图的多项式时间算法，从而在因果推断和机器学习中实现高效的模型选择与解释。

ABSTRACT

Ordered sequences of univariate or multivariate regressions provide statistical modelsfor analysingdata fromrandomized, possiblysequential interventions, from cohort or multi-wave panel studies, but also from cross-sectional or retrospective studies. Conditional independences are captured by what we name regression graphs, provided the generated distribution shares some properties with a joint Gaussian distribution. Regression graphs extend purely directed, acyclic graphs by two types of undirected graph, one type for components of joint responses and the other for components of the context vector variable. We review the special features and the history of regression graphs, prove criteria for Markov equivalence anddiscussthenotion of simpler statistical covering models. Knowledgeof Markov equivalence provides alternative interpretations of a given sequence of regressions, is essential for machine learning strategies and permits to use the simple graphical criteria of regression graphs on graphs for which the corresponding criteria are in general more complex. Under the known conditions that a Markov equivalent directed acyclic graph exists for any given regression graph, we give a polynomial time algorithm to find one such graph.

研究动机与目标

• 正式提出一种图形模型框架——回归图，将其作为有向无环图的扩展，用于在观察研究和实验研究中表示回归序列。
• 在类似于多元正态分布的假设下，刻画回归序列中的条件独立性。
• 为回归图之间的马尔可夫等价性建立判别准则，从而实现对同一统计模型的多种解释。
• 提供一种多项式时间算法，用于从给定的回归图中识别一个马尔可夫等价的有向无环图。
• 通过等价类简化复杂图形准则，支持因果发现与统计建模。

提出的方法

• 在回归图中引入两种无向边：一种用于联合响应变量的分量，另一种用于上下文向量的分量。
• 定义回归图的马尔可夫性质，将图中的 d-分离与概率分布中的条件独立性联系起来。
• 利用 v-结构和未屏蔽撞机的结构特征，建立回归图之间马尔可夫等价性的判别准则。
• 证明在标准假设下，每个回归图至少存在一个马尔可夫等价的有向无环图。
• 开发一种多项式时间算法，利用等价类结构从给定的回归图中计算出一个马尔可夫等价的有向无环图。
• 使用图形准则简化模型选择与推断过程，避免复杂的条件独立性检验。

实验结果

研究问题

• RQ1 如何通过统一的图形模型表示回归序列，以捕捉条件独立性？
• RQ2 在何种条件下，回归图与有向无环图马尔可夫等价？
• RQ3 能否构建一种多项式时间算法，为任意给定的回归图找到一个马尔可夫等价的有向无环图？
• RQ4 回归图的结构特征——特别是两种无向边——如何与统计独立性相关联？
• RQ5 回归图中的马尔可夫等价性在哪些方面改善了模型解释性与机器学习应用？

主要发现

• 回归图通过引入两种无向边，扩展了有向无环图，从而能够表示联合响应变量和上下文变量。
• 在高斯类似假设下，回归序列中的条件独立性与相应回归图中的 d-分离等价。
• 回归图之间的马尔可夫等价性可通过 v-结构和未屏蔽撞机等结构特征进行刻画。
• 对于任意给定的回归图，存在一种多项式时间算法可计算出其马尔可夫等价的有向无环图。
• 马尔可夫等价有向无环图的存在，使得同一回归序列可有多种解释，增强了模型的灵活性。
• 回归图的图形准则相较于一般图形模型，更简化了条件独立性结构的识别。