[论文解读] Parameter Priors for Directed Acyclic Graphical Models and the Characterization of Several Probability Distributions

Dan Geiger, David Heckerman|arXiv (Cornell University)|May 5, 2021

Bayesian Modeling and Causal Inference参考文献 29被引用 102

一句话总结

本文提出一种有原则的方法来为 DAG 模型选择构造参数先验，推导出闭式边际似然，并且在它们的假设下，对于完全高斯DAG，唯一需要的先验是 normal-Wishart 先验。

ABSTRACT

We develop simple methods for constructing parameter priors for model choice among Directed Acyclic Graphical (DAG) models. In particular, we introduce several assumptions that permit the construction of parameter priors for a large number of DAG models from a small set of assessments. We then present a method for directly computing the marginal likelihood of every DAG model given a random sample with no missing observations. We apply this methodology to Gaussian DAG models which consist of a recursive set of linear regression models. We show that the only parameter prior for complete Gaussian DAG models that satisfies our assumptions is the normal-Wishart distribution. Our analysis is based on the following new characterization of the Wishart distribution: let $W$ be an $n imes n$, $n \ge 3$, positive-definite symmetric matrix of random variables and $f(W)$ be a pdf of $W$. Then, f$(W)$ is a Wishart distribution if and only if $W_{11} - W_{12} W_{22}^{-1} W'_{12}$ is independent of $\{W_{12},W_{22}\}$ for every block partitioning $W_{11},W_{12}, W'_{12}, W_{22}$ of $W$. Similar characterizations of the normal and normal-Wishart distributions are provided as well.

研究动机与目标

• 提出在 DAG 模型之间进行模型选择的问题及对基于原则的参数先验的需求。
• 提出一组假设，使得可以通过少量评估为许多 DAG 架构构造先验。
• 推导出在完全数据下任何 DAG 模型的边际似然公式。
• 将该框架专门化到高斯DAG模型，并确定 normal-Wishart 是唯一满足这些假设的先验。
• 提供将 Wishart、normal-Wishart 分布与全局参数独立性联系起来的理论特征化。

提出的方法

• 定义完整DAG模型和不完整DAG模型，并假设完整模型等价性以确保数据无法区分完整结构。
• 施加似然模组性、先验模组性和全局参数独立性，以使先验能够在模型之间转移。
• 证明通过坐标变换为一个完整DAG模型指定先验，可以决定所有DAG模型的先验。
• 利用跨节点的乘积分解，推导出任意DAG模型的边际似然 p(d|m^h) 的闭式表达式。
• 通过对 (μ, W) 采用 normal-Wishart 先验来将先验专门化为高斯DAG，并在完全数据下推导后验更新。

实验结果

研究问题

• RQ1 在所述假设下，少量评估是否能够确定整个 DAG 模型空间的参数先验？
• RQ2 对于任何具有完全数据的 DAG 模型，边际似然的计算是什么？
• RQ3 在高斯DAG模型中，关于 (μ, W) 的什么先验满足全局参数独立性及相关假设？
• RQ4 在这些假设下，独立性等效的 DAG 结构是否具有相同的边际似然？
• RQ5 在高斯DAG设定中，normal-Wishart先验如何被解释和证明合理？

主要发现

• 在五个假设下，任意 DAG 模型的参数先验均由一个单一的完整 DAG 模型确定。
• 一个简洁的公式通过聚合节点层面的项来计算任意 DAG 模型的边际似然 p(d|m^h)。
• 对于高斯DAG模型，normal-Wishart 分布是唯一满足全局参数独立性和相关假设的先验。
• 在所提出的框架下，独立性等效的DAG结构具有相同的边际似然。
• 一种新的表征将 Wishart、normal、及 normal-Wishart 分布与全局参数独立性的性质联系起来，提供理论依据。
• 对于高斯完全情形，后验在模型下仍然是 normal-Wishart，便于可解更新。