[论文解读] Stability Approach to Regularization Selection (StARS) for High Dimensional Graphical Models

Han Liu, Kathryn Roeder+1 more|arXiv (Cornell University)|Jun 16, 2010

Gene expression and cancer classification被引用 172

一句话总结

该论文提出 StARS（稳定性正则化选择方法），一种新型方法，通过在随机子样本间平衡稀疏性与稳定性，来选择高维高斯图模型中的正则化参数。该方法在合成数据和真实基因芯片数据上均优于传统的K折交叉验证、AIC和BIC方法，实现了较高的部分稀疏一致性，并在高维设置下生成更准确、更具可解释性的图结构。

ABSTRACT

A challenging problem in estimating high-dimensional graphical models is to choose the regularization parameter in a data-dependent way. The standard techniques include $K$-fold cross-validation ($K$-CV), Akaike information criterion (AIC), and Bayesian information criterion (BIC). Though these methods work well for low-dimensional problems, they are not suitable in high dimensional settings. In this paper, we present StARS: a new stability-based method for choosing the regularization parameter in high dimensional inference for undirected graphs. The method has a clear interpretation: we use the least amount of regularization that simultaneously makes a graph sparse and replicable under random sampling. This interpretation requires essentially no conditions. Under mild conditions, we show that StARS is partially sparsistent in terms of graph estimation: i.e. with high probability, all the true edges will be included in the selected model even when the graph size diverges with the sample size. Empirically, the performance of StARS is compared with the state-of-the-art model selection procedures, including $K$-CV, AIC, and BIC, on both synthetic data and a real microarray dataset. StARS outperforms all these competing procedures.

研究动机与目标

• 解决高维无向高斯图模型中正则化参数选择的关键挑战，传统方法如 K-CV、AIC 和 BIC 因高维性而失效。
• 开发一种数据驱动的方法，选择最小正则化程度，以确保图的稀疏性以及在随机子样本间的可重复性。
• 提供一种理论基础坚实且易于解释的方法，确保在图规模随样本量发散时仍能包含真实边。
• 通过实证研究证明该方法在合成数据和真实世界高维数据上优于现有模型选择方法。

提出的方法

• StARS 使用数据的重叠随机子样本，评估不同正则化水平下边的稳定性。
• 从高正则化（稀疏、稳定图）开始，逐步降低正则化程度，直到子样本间可接受的变异性阈值被达到。
• 所选正则化参数对应于在子样本间保持边模式稳定性的最小正则化程度。
• 该方法应用于图lasso框架，其中正则化控制逆协方差矩阵估计的稀疏性。
• StARS 不依赖交叉验证或信息准则；相反，它直接优化所选图的稳定性和稀疏性。
• 该方法可推广至其他高维结构估计任务，如回归、聚类和降维。

实验结果

研究问题

• RQ1 基于稳定性的方法是否能在高维高斯图模型中优于传统的正则化选择方法，如 K-CV、AIC 和 BIC？
• RQ2 StARS 是否能实现部分稀疏一致性，即在图规模随样本量增长时，以高概率包含所有真实边？
• RQ3 StARS 是否能有效平衡所选图的稀疏性与可重复性，而无需强分布假设？
• RQ4 StARS 在真实世界高维数据（如基因表达芯片数据集）上的表现如何？

主要发现

• 在高维中心节点图和邻域图的合成数据中，StARS 的 F1 分数达到 0.6274，显著优于 K-CV（0.3769）和 AIC（0.3951）。
• 在低维设置下，BIC 表现具有竞争力，但在高维设置下，StARS 明显优于所有对比方法，包括 BIC 和 AIC。
• 在微阵列数据集（n=294, p=324）上，StARS 生成了稀疏且信息丰富的图，包含团结构和中心基因，而 BIC 生成了密集图，掩盖了有意义的关联。
• StARS 图的准确性接近基于子样本估计的“理想图”（oracle graph），而 K-CV、BIC 和 AIC 图则过于密集，可解释性较差。
• StARS 在温和条件下表现出部分稀疏一致性，即即使变量数随样本量增加，也能以高概率包含所有真实边。
• 该方法性能稳健且可解释：它选择确保稀疏性与稳定性的最小正则化程度，因此特别适用于高维环境下的科学发现。