[论文解读] Penalized Maximum Likelihood Estimation of Multi-layered Gaussian Graphical Models

Jiahe Lin, Sumanta Basu+2 more|arXiv (Cornell University)|Jan 5, 2016

Statistical Methods and Inference参考文献 33被引用 18

一句话总结

该论文提出了一种用于多层高斯图模型的惩罚似然估计器，采用块坐标下降算法，迭代估计层间有向边与层内无向边，通过双凸优化与统一误差控制，在高维设定下实现一致性。

ABSTRACT

Analyzing multi-layered graphical models provides insight into understanding the conditional relationships among nodes within layers after adjusting for and quantifying the effects of nodes from other layers. We obtain the penalized maximum likelihood estimator for Gaussian multi-layered graphical models, based on a computational approach involving screening of variables, iterative estimation of the directed edges between layers and undirected edges within layers and a final refitting and stability selection step that provides improved performance in finite sample settings. We establish the consistency of the estimator in a high-dimensional setting. To obtain this result, we develop a strategy that leverages the biconvexity of the likelihood function to ensure convergence of the developed iterative algorithm to a stationary point, as well as careful uniform error control of the estimates over iterations. The performance of the maximum likelihood estimator is illustrated on synthetic data.

研究动机与目标

• 解决现有理论与计算方法在同时包含有向与无向边的多层图模型估计中的缺失问题。
• 为高维多层高斯图模型开发一种可扩展且一致的估计程序。
• 整合筛选、有向与无向边的迭代估计，以及稳定性选择，以提升有限样本性能。
• 在高维渐近设定下建立估计器的一致性理论。
• 通过双凸性与迭代间统一误差控制，确保收敛至驻点。

提出的方法

• 采用两阶段计算方法：先进行变量筛选，再迭代估计有向边与无向边。
• 应用块坐标下降法，交替估计系数矩阵 B（有向边）与精度矩阵 Θε（无向边）。
• 在每次迭代中，通过去偏Lasso启发式方法列式更新 B，残差通过估计的误差方差进行调整。
• 使用图模型Lasso（glasso）通过非对角元素的ℓ1惩罚更新精度矩阵 Θε。
• 实施改进的 (p₂+1)-块更新策略，实现 B 更新的并行化，相比循环更新具有更快收敛速度。
• 将稳定性选择与自 resampling 样本结合，以增强选择准确性并减少假阳性。

实验结果

研究问题

• RQ1 在高维多层高斯图模型中，惩罚似然估计器能否实现一致估计？
• RQ2 如何利用似然函数的双凸结构以确保迭代算法的收敛性？
• RQ3 并行化与迭代更新策略对计算效率与估计精度有何影响？
• RQ4 筛选、迭代估计与稳定性选择的结合如何提升有限样本性能？
• RQ5 在高维渐近设定下，估计器的一致性可建立何种理论保证？

主要发现

• 在适当的正则性条件下，所提估计器在高维设定下实现了一致性。
• 由于似然函数的双凸性与仔细的统一误差控制，算法收敛至驻点。
• 采用 (p₂+1)-块更新与并行化后，计算时间减少至标准2块更新的约 1/7。
• 在合成数据上，该方法在计算效率与有限样本性能方面优于现有方法。
• 使用 50 个自 resampling 样本的稳定性选择提供了稳健的变量选择与更高的估计精度。
• 通过并行化回归与重拟合步骤，算法在显著降低计算时间的同时保持了估计精度。