[论文解读] Sure Screening for Gaussian Graphical Models

Shikai Luo, Rui Song+1 more|arXiv (Cornell University)|Jul 29, 2014

Statistical Methods and Inference参考文献 26被引用 17

一句话总结

该论文提出GRASS（图形Sure Screening），一种计算高效的高维设置下高斯图模型估计方法，通过在协方差矩阵中对样本相关性进行阈值化处理。该方法建立了Sure Screening性质——以高概率保证包含所有真实边，并通过数据驱动的阈值实现对期望假阳性率的控制。

ABSTRACT

We propose {graphical sure screening}, or GRASS, a very simple and computationally-efficient screening procedure for recovering the structure of a Gaussian graphical model in the high-dimensional setting. The GRASS estimate of the conditional dependence graph is obtained by thresholding the elements of the sample covariance matrix. The proposed approach possesses the sure screening property: with very high probability, the GRASS estimated edge set contains the true edge set. Furthermore, with high probability, the size of the estimated edge set is controlled. We provide a choice of threshold for GRASS that can control the expected false positive rate. We illustrate the performance of GRASS in a simulation study and on a gene expression data set, and show that in practice it performs quite competitively with more complex and computationally-demanding techniques for graph estimation.

研究动机与目标

• 解决当p达到数万数量级时，现有稀疏精度矩阵估计方法在计算上不可行的问题。
• 开发一种筛选程序，在大幅降低高维图模型计算时间的同时保持统计可靠性。
• 在p随样本量n呈指数增长的高维渐近条件下，为边恢复提供理论保证。
• 通过合理选择阈值，实现对边选择中期望假阳性率的控制。
• 通过将Sure Screening应用于无监督图模型，弥合简单边际筛选与复杂精度矩阵估计之间的差距。

提出的方法

• GRASS通过阈值化样本协方差矩阵的非对角线元素来估计条件依赖图。
• 该方法基于样本相关性的大小选择边：|X_a^T X_b / n| > γ_n，其中γ_n为数据驱动的阈值。
• 阈值γ_n设定为Φ⁻¹(1 - f/(p(p-1)))/√n，以将期望假阳性率控制在f/[p(p-1)]。
• 理论分析表明，在弱假设下，估计的边集以高概率包含真实边集。
• 该方法利用精度矩阵列对应于回归系数的事实，从而基于边际相关性构建筛选策略。
• 该方法实现O(p²)的计算复杂度，相比之下，传统方法如图模型Lasso的复杂度为O(p³)。

实验结果

研究问题

• RQ1 在高维设置下，一种简单且计算高效的筛选程序能否恢复高斯图模型的真实条件依赖结构？
• RQ2 对协方差矩阵中的样本相关性进行阈值化处理，是否能产生具有Sure Screening性质的方法——即以高概率包含所有真实边？
• RQ3 能否通过数据驱动的阈值化规则控制边选择中的期望假阳性率？
• RQ4 在高维场景下，GRASS与更复杂且计算密集的方法（如图模型Lasso）相比性能如何？
• RQ5 GRASS与现有稀疏精度矩阵估计技术（如ℓ₁-惩罚似然估计）之间的理论关系是什么？

主要发现

• GRASS实现了Sure Screening性质：即使当p随n呈指数增长时，以高概率保证估计的边集包含真实边集。
• 通过选择阈值γ_n = Φ⁻¹(1 - f/(p(p-1)))/√n，该方法将期望假阳性率控制在f/[p(p-1)]。
• GRASS的计算成本为O(p²)，使其可扩展至p = 25,000或更多变量的问题。
• 在模拟实验和一个基因表达数据集中，GRASS的表现与更复杂的图模型Lasso等方法具有竞争力。
• 理论分析揭示了GRASS与ℓ₁-惩罚似然估计精度矩阵之间出人意料的联系。
• 该方法是首个将Sure Screening应用于无监督图模型的方法，将该框架从回归设置扩展至更广泛场景。