[论文解读] The huge Package for High-dimensional Undirected Graph Estimation in R

Tuo Zhao, Han Liu+3 more|PubMed|Jun 26, 2020

Statistical Methods and Inference参考文献 23被引用 485

一句话总结

本文介绍了用于可扩展高维无向图估计的巨大R包，实现多种方法（MB 和 glasso），并具有半参数和筛选选项，且将性能与 glasso 进行比较。

ABSTRACT

We describe an R package named huge which provides easy-to-use functions for estimating high dimensional undirected graphs from data. This package implements recent results in the literature, including Friedman et al. (2007), Liu et al. (2009, 2012) and Liu et al. (2010). Compared with the existing graph estimation package glasso, the huge package provides extra features: (1) instead of using Fortan, it is written in C, which makes the code more portable and easier to modify; (2) besides fitting Gaussian graphical models, it also provides functions for fitting high dimensional semiparametric Gaussian copula models; (3) more functions like data-dependent model selection, data generation and graph visualization; (4) a minor convergence problem of the graphical lasso algorithm is corrected; (5) the package allows the user to apply both lossless and lossy screening rules to scale up large-scale problems, making a tradeoff between computational and statistical efficiency.

研究动机与目标

• 提供一个能够从数据估计高维无向图的R包。
• 整合多种估计方法（MB 和 graphical lasso）并提升可扩展性。
• 支持半参数高斯Copula建模和数据驱动的模型选择。
• 提供数据生成、预处理、可视化和筛选选项以提高效率。

提出的方法

• 核心引擎用C实现，以便移植性和效率。
• 支持 MB 协方差选择和图形Lasso估计，使用坐标下降法和稀疏矩阵。
• 实现非paranormal变换用于半参数高斯Copula图。
• 结合无损和有损相关性筛选，在估计前降低维度。
• 通过StARS、RIC和扩展BIC（用于图形Lasso）进行模型选择。
• 包括基于igraph的绘图的图可视化。

实验结果

研究问题

• RQ1 如何在R中使用MB和图形Lasso方法高效地从数据估计高维无向图？
• RQ2 在图估计前整合筛选（无损和有损）在速度和准确性方面有哪些好处？
• RQ3 非paranormal变换如何在高维中实现半参数高斯Copula图估计？
• RQ4 在 huge 中，不同的模型选择标准（StARS、RIC、EBIC）在选择正则化参数方面的表现如何？

主要发现

• Huge 在基于 MB 的估计中比 glasso 的速度更快，特别是在有损筛选的情况下（速度提升约 500%）。
• 有损筛选将每变量的lasso问题从 d 降至 n，当 d >> n 时提高效率。
• huge 的图形Lasso估计在无损和有损筛选下也受益，明显快于glasso。
• 该包提供额外方法（如相关性阈值化）以及一个综合框架（数据生成、预处理、可视化）。
• 实验在不同 d 和 n 下运行时间差异，凸显在高维情形下 huge 的可扩展性优势。