[论文解读] Stability Selection

Nicolai Meinshausen, Peter Buehlmann|ArXiv.org|Sep 17, 2008

Statistical Methods and Inference参考文献 38被引用 35

一句话总结

Stability Selection 是一种基于抽样子集的通用方法，通过控制高维数据中假发现的有限样本错误率，增强变量选择和结构估计。它即使在弱正则性条件下也能提高 Lasso 的一致性，实现具有可证明错误控制的可靠选择，并在各种统计模型中提升性能。

ABSTRACT

Estimation of structure, such as in variable selection, graphical modelling or cluster analysis is notoriously difficult, especially for high-dimensional data. We introduce stability selection. It is based on subsampling in combination with (high-dimensional) selection algorithms. As such, the method is extremely general and has a very wide range of applicability. Stability selection provides finite sample control for some error rates of false discoveries and hence a transparent principle to choose a proper amount of regularisation for structure estimation. Variable selection and structure estimation improve markedly for a range of selection methods if stability selection is applied. We prove for randomised Lasso that stability selection will be variable selection consistent even if the necessary conditions needed for consistency of the original Lasso method are violated. We demonstrate stability selection for variable selection and Gaussian graphical modelling, using real and simulated data.

研究动机与目标

• 解决高维变量选择和结构估计中选择最优正则化这一持续存在的挑战。
• 在渐近方法不可靠的高维设置中，提供对假发现率的有限样本控制。
• 在经典正则性条件被违反时，提高 Lasso 等变量选择方法的一致性和可靠性。
• 开发一个通用框架，适用于线性回归、图模型和聚类等多种问题。
• 证明通过抽样与选择算法结合，可获得比标准方法更稳定、更准确的结构估计。

提出的方法

• 该方法通过重复抽样数据，估计变量或结构在多个子集中的选择频率。
• 对每个子样本，使用固定正则化参数的应用选择算法（例如 Lasso），并记录每个变量被选中的次数。
• 根据选择频率对变量进行排序，并应用阈值以识别稳定且高频率的选择。
• 该框架在抽样和变量选择中引入随机化，类似于随机森林原理，以增强鲁棒性。
• 通过浓度不等式边界假发现概率，理论化地控制有限样本的家族错误率。
• 该方法应用于线性模型和高斯图模型，并在弱于标准 Lasso 的条件下提供一致性理论保证。

实验结果

研究问题

• RQ1 能否利用抽样来控制高维变量选择中的有限样本错误率？
• RQ2 当经典正则性条件被违反时，Stability Selection 是否能提高 Lasso 的一致性？
• RQ3 能否开发一个通用的、与模型无关的框架，以增强多种统计问题中的结构估计？
• RQ4 抽样和选择中的随机化如何提高稳定性和选择准确性？
• RQ5 抽样频率与假发现控制之间的理论关系是什么？

主要发现

• Stability Selection 在多重检验中提供了对家族错误率的有限样本控制，为正则化选择提供了透明原则。
• 该方法在模拟和现实世界数据中，均显著提升了包括 Lasso 在内的多种算法的变量选择性能。
• 对于随机化 Lasso，当标准 Lasso 因违反必要正则性条件而失效时，Stability Selection 仍能实现变量选择的一致性。
• 理论分析表明，Stability Selection 减少了对设计矩阵的假设要求，以保证 Lasso 的一致性，尤其在高维设置中。
• 实证结果表明，Stability Selection 在变量选择和高斯图模型中的结构估计方面均有显著改进。
• 选择频率（稳定性路径）即使在弱信号或预测变量间存在高度相关性的情况下，也能可靠识别真实信号。