[论文解读] The Graphical Horseshoe Estimator for Inverse Covariance Matrices

Yunfan Li, Bruce Α. Craig+1 more|arXiv (Cornell University)|Jul 20, 2017

Statistical Methods and Inference参考文献 44被引用 10

一句话总结

本文提出图形霍希尔估计器，一种使用重尾且在零附近高度集中的霍奇尔先验的贝叶斯方法，用于高维精度矩阵估计。该方法在最小化Kullback–Leibler散度和减少非零元素偏差方面表现优于图模型Lasso和图模型SCAD，尤其在稀疏精度矩阵下表现更优，采用完整吉布斯采样器实现高效计算，并提供MATLAB代码。

ABSTRACT

<b>We develop a new estimator of the inverse covariance matrix for high-dimensional multivariate normal data using the horseshoe prior. The proposed graphical horseshoe estimator has attractive properties compared to other popular estimators, such as the graphical lasso and the graphical smoothly clipped absolute deviation. The most prominent benefit is that when the true inverse covariance matrix is sparse, the graphical horseshoe provides estimates with small information divergence from the sampling model. The posterior mean under the graphical horseshoe prior can also be almost unbiased under certain conditions. In addition to these theoretical results, we also provide a full Gibbs sampler for implementing our estimator. MATLAB code is available for download from github at</b>http://github.com/liyf1988/GHS<b>. The graphical horseshoe estimator compares favorably to existing techniques in simulations and in a human gene network data analysis. Supplementary materials for this article are available online.</b>

研究动机与目标

• 开发一种适用于任意稀疏模式的高维逆协方差矩阵贝叶斯估计器。
• 通过利用霍奇尔先验的重尾性和在零附近的高浓度特性，提升估计精度。
• 通过完整吉布斯采样器实现后验计算的计算高效实现。
• 从经验与理论两方面与现有方法（如图模型Lasso和图模型SCAD）比较图形霍奇尔估计器的性能。
• 将该方法应用于真实人类基因表达数据，评估其在识别稀疏基因互作网络方面的表现。

提出的方法

• 图形霍奇尔估计器使用具有全局收缩参数和从半柯西分布抽取的局部收缩参数的层次收缩先验。
• 假设多变量正态似然，其逆协方差矩阵（精度矩阵）为待估计参数。
• 该先验通过将小元素收缩至零而使大元素相对保持不变，从而诱导稀疏性。
• 开发了完整吉布斯采样器，以高效地从精度矩阵与超参数的后验联合分布中抽样。
• 在层次模型中，对均值使用非信息先验，对协方差矩阵使用共轭逆威沙特先验。
• 后验推断基于精度矩阵的后验均值，该值在某些条件下被证明近乎无偏。

实验结果

研究问题

• RQ1 在高维稀疏性条件下，图形霍奇尔估计器与图模型Lasso和图模型SCAD在Kullback–Leibler散度方面的表现如何比较？
• RQ2 图形霍奇尔先验下后验均值的理论性质是什么，特别是关于偏差与收敛性？
• RQ3 在高维设置下，图形霍奇尔估计器能否实现比竞争方法更优的变量选择准确性和稀疏性恢复？
• RQ4 图形霍奇尔估计器的性能如何依赖于样本量与特征维度的比值？
• RQ5 在真实世界生物数据（如人类基因表达网络）中，图形霍奇尔估计器的实证表现如何？

主要发现

• 当真实精度矩阵为稀疏时，图形霍奇尔估计器在Kullback–Leibler散度上显著优于图模型Lasso和图模型SCAD。
• 在某些正则性条件下，图形霍奇尔先验下后验均值对非零元素近乎无偏。
• 在模拟实验中，图形霍奇尔估计器在估计真实稀疏结构方面优于图模型Lasso和图模型SCAD，尤其在样本量较小的高维设置下。
• 在人类基因表达数据集中，图形霍奇尔估计器推断出一个包含83个顶点和109条边的稀疏网络，而图模型Lasso和贝叶斯图模型Lasso分别生成了包含1135条和976条边的稠密图。
• 图模型SCAD未将任何非对角元素估计为零，导致生成一个包含4950条边的完全连通图，表明其稀疏性诱导能力差。
• 图形霍奇尔估计器的网络结构更具可解释性，揭示了未连接的、更稀疏的聚类，而其他方法生成的结构则更密集、更连通。