[论文解读] Which bridge estimator is optimal for variable selection?

Shuaiwen Wang, Haolei Weng+1 more|arXiv (Cornell University)|May 24, 2017

Statistical Methods and Inference参考文献 56被引用 13

一句话总结

本文研究了在高维线性模型中使用桥接估计量的两阶段变量选择（TVS），其中预测变量数量 $ p $ 与样本量 $ n $ 成比例增长。研究证明，当第一阶段的桥接估计量具有最小的渐近均方误差（AMSE）时，渐近虚假发现比例（AFDP）达到最小，揭示了在高噪声环境下岭回归优于LASSO，且LASSO在稀疏、微弱信号下表现次优。

ABSTRACT

We study the problem of variable selection for linear models under the high-dimensional asymptotic setting, where the number of observations $n$ grows at the same rate as the number of predictors $p$. We consider two-stage variable selection techniques (TVS) in which the first stage uses bridge estimators to obtain an estimate of the regression coefficients, and the second stage simply thresholds this estimate to select the "important" predictors. The asymptotic false discovery proportion (AFDP) and true positive proportion (ATPP) of these TVS are evaluated. We prove that for a fixed ATPP, in order to obtain a smaller AFDP, one should pick a bridge estimator with smaller asymptotic mean square error in the first stage of TVS. Based on such principled discovery, we present a sharp comparison of different TVS, via an in-depth investigation of the estimation properties of bridge estimators. Rather than "order-wise" error bounds with loose constants, our analysis focuses on precise error characterization. Various interesting signal-to-noise ratio and sparsity settings are studied. Our results offer new and thorough insights into high-dimensional variable selection. For instance, we prove that a TVS with Ridge in its first stage outperforms TVS with other bridge estimators in large noise settings; two-stage LASSO becomes inferior when the signal is rare and weak. As a by-product, we show that two-stage methods outperform some standard variable selection techniques, such as LASSO and Sure Independence Screening, under certain conditions.

研究动机与目标

• 确定在高维线性模型中，哪种桥接估计量能实现最优的变量选择性能。
• 分析信噪比（SNR）和稀疏性对最优桥接估计量选择的影响。
• 建立第一阶段估计精度（AMSE）与第二阶段变量选择性能（AFDP、ATPP）之间的理论联系。
• 在渐近高维框架下，将TVS与LASSO和SIS等标准方法进行比较。

提出的方法

• 本研究采用两阶段变量选择（TVS）框架：首先通过 $ \ell_q $-正则化最小二乘法计算桥接估计量 $ \hat{\beta}(q,\lambda) $；其次对估计量进行硬阈值处理以实现变量选择。
• 在高维渐近框架 $ n/p \to \delta \in (0,\infty) $ 下，推导了渐近虚假发现比例（AFDP）和真正例比例（ATPP）。
• 分析依赖于对桥接估计量均方误差（AMSE）的精确渐近刻画，避免使用松散的阶次界。
• 利用随机矩阵理论和近似消息传递（AMP）工具，推导了估计量及其阈值化输出的渐近分布。
• 最优桥接估计量被确定为第一阶段中AMSE最小的估计量，该选择可进一步最小化固定ATPP下的AFDP。
• 该框架被应用于三种关键情形：稀疏信号、大噪声和大样本量，每种情形均推导出相应的解析结果。

实验结果

研究问题

• RQ1 在高维变量选择中，哪种桥接估计量能最小化渐近虚假发现比例（AFDP）？
• RQ2 在低信噪比或稀疏信号情形下，LASSO是否优于基于其他桥接估计量的两阶段方法？
• RQ3 信噪比（SNR）如何影响桥接参数 $ q $ 的最优选择？
• RQ4 在何种条件下，两阶段方法优于LASSO和SIS等标准技术？
• RQ5 第一阶段桥接估计量的估计误差（AMSE）与变量选择性能（AFDP、ATPP）之间存在何种精确关系？

主要发现

• 在高噪声环境下，岭回归（$ q=2 $）是所有桥接估计量中的最优选择，因其最小化了渐近均方误差（AMSE）。
• 对于稀疏且微弱的信号，LASSO（$ q=1 $）表现欠佳；当信号强度低于某一临界阈值时，其他 $ q>1 $ 的桥接估计量可优于LASSO。
• 在特定高维渐近条件下，基于桥接估计量的两阶段方法优于LASSO和SIS等标准技术。
• 最优桥接估计量即为第一阶段中AMSE最小的估计量，从而建立了估计精度与选择性能之间的直接联系。
• 在大样本框架下，结果与经典低维渐近理论一致，验证了高维框架的一致性。
• TVS的AFDP与ATPP通过阈值化估计量的渐近分布被精确刻画，从而实现了不同桥接估计量之间的准确比较。