[论文解读] Posterior Graph Selection and Estimation Consistency for High-dimensional Bayesian DAG Models

Xuan Cao, Kshitij Khare+1 more|arXiv (Cornell University)|Nov 3, 2016

Statistical Methods and Inference参考文献 25被引用 6

一句话总结

该论文通过使用具有多个形状参数的灵活DAG-Wishart先验类，建立了高维贝叶斯高斯DAG模型的后验图选择与估计一致性。在温和正则性条件下，证明了强图选择一致性，并推导出当变量数 $ p $ 以亚指数方式随样本量 $ n $ 增长时的后验收敛速率，为高维设置下贝叶斯DAG模型选择提供了理论依据。

ABSTRACT

Covariance estimation and selection for high-dimensional multivariate datasets is a fundamental problem in modern statistics. Gaussian directed acyclic graph (DAG) models are a popular class of models used for this purpose. Gaussian DAG models introduce sparsity in the Cholesky factor of the inverse covariance matrix, and the sparsity pattern in turn corresponds to specific conditional independence assumptions on the underlying variables. A variety of priors have been developed in recent years for Bayesian inference in DAG models, yet crucial convergence and sparsity selection properties for these models have not been thoroughly investigated. Most of these priors are adaptations or generalizations of the Wishart distribution in the DAG context. In this paper, we consider a flexible and general class of these 'DAG-Wishart' priors with multiple shape parameters. Under mild regularity assumptions, we establish strong graph selection consistency and establish posterior convergence rates for estimation when the number of variables p is allowed to grow at an appropriate sub-exponential rate with the sample size n.

研究动机与目标

• 为解决高维贝叶斯DAG模型中缺乏理论保证的问题，特别是图选择与估计一致性的方面。
• 通过引入具有多个形状参数的灵活DAG-Wishart分布类，扩展现有的基于Wishart的DAG模型先验，实现差异化的收缩效果。
• 在 $ p $ 以亚指数方式随 $ n $ 增长的条件下，于温和正则性条件下建立强后验图选择一致性和估计一致性。
• 为高维高斯DAG模型中的贝叶斯推断提供理论基础，尤其针对结构学习与协方差估计。
• 将先前关于 $ \mathcal{G} $-Wishart 和 Letac-Massam 先验的结果推广至任意DAG，而不仅限于完美DAG。

提出的方法

• 提出一个具有多个形状参数的通用DAG-Wishart先验类，实现在高维设置下的灵活收缩。
• 使用修改后的Cholesky分解 $ \Omega = L D^{-1} L^T $，通过下三角矩阵 $ L $ 编码精度矩阵中的稀疏模式，其中零元素对应条件独立性。
• 对真实DAG和先验超参数施加正则性条件，以确保后验一致性和收敛速率。
• 推导出精度矩阵 $ \Omega $ 和Cholesky因子 $ L $ 的后验收敛速率，表明其速率依赖于 $ p $、$ n $ 以及真实图的稀疏性。
• 采用贝叶斯模型选择框架，在DAG空间上设定先验，通过计算后验概率来选择最优图。
• 通过模拟研究验证性能，将贝叶斯方法（对数评分与基于BIC的路径搜索）与惩罚似然方法（Lasso-DAG、CSCS）进行比较，使用PPV、TPR和FPR等指标。

实验结果

研究问题

• RQ1 当变量数 $ p $ 随样本量 $ n $ 增长时，高维贝叶斯DAG模型中能否实现后验图选择的一致性？
• RQ2 在高维DAG模型中，精度矩阵与Cholesky因子的后验收敛速率是什么？
• RQ3 在DAG-Wishart先验中使用多个形状参数，相较于单参数先验，如何提升估计与选择的一致性？
• RQ4 在高维设置下，贝叶斯方法在图选择准确性方面是否优于频繁学派的惩罚似然方法（如Lasso-DAG、CSCS）？
• RQ5 在何种正则性条件下，后验分布会随着 $ n \to \infty $ 聚焦于真实DAG及其相关参数？

主要发现

• 在所有模拟设置中，贝叶斯方法的阳性预测值（PPV）均高于0.95，显著优于惩罚似然方法（PPV≈0.1）。
• 贝叶斯方法的真正率（TPR）高于0.39，而惩罚似然方法的TPR低于0.21，表明其在检测真实边方面表现更优。
• 贝叶斯方法的假正率（FPR）约为 $ 10^{-6} $，远低于惩罚似然方法约0.002的FPR值。
• 在 $ p $ 相对于 $ n $ 亚指数增长的条件下，推导出 $ \Omega $ 和 $ L $ 的后验收敛速率，建立了理论一致性。
• 在温和正则性条件下，证明了所提出的具有多个形状参数的DAG-Wishart先验具有强图选择一致性。
• 模拟结果表明，贝叶斯方法能够实现更广泛且计算上更可行的图搜索，从而在结构学习性能上显著优于频繁学派的替代方法。