[论文解读] Restricted LASSO and Double Shrinking

Mina Norouzirad, ‎M‎ohammad Arashi+1 more|arXiv (Cornell University)|May 12, 2015

Statistical Methods and Inference参考文献 10被引用 7

一句话总结

本文提出了一种受限LASSO估计量及三种结合变量选择与线性约束的LASSO型估计量，采用双重收缩框架。主要贡献在于，这些估计量在预测精度和风险方面优于经典LASSO，尤其是在子空间约束下，通过渐近理论和前列腺癌数据集分析得到验证。

ABSTRACT

In the context of multiple regression model, suppose that the vector parameter of interest βis subjected to lie in the subspace hypothesis Hβ= h, where this restriction is based on either additional information or prior knowledge. Then, the restricted estimator performs fairly well than the ordinary least squares one. In addition, when the number of variables is relatively large with respect to observations, the use of least absolute shrinkage and selection operator (LASSO) estimator is suggested for variable selection purposes. In this paper, we deffine a restricted LASSO estimator and configure three classes of LASSO-type estimators to fulfill both variable selection and restricted estimation. Asymptotic performance of the proposed estimators are studied and a simulation is conducted to analyze asymptotic relative efficiencies. The application of our result is considered for the prostate dataset where the expected prediction errors and risks are compared. It has been shown that the proposed shrunken LASSO estimators, resulted from double shrinking methodology, perform better than the classical LASSO.

研究动机与目标

• 提出一种能将已知回归系数线性约束纳入其中的LASSO型估计量，以提升估计效率。
• 解决经典LASSO在具有参数空间先验知识的高维设置下的局限性。
• 提出一种双重收缩方法论，结合基于约束的收缩与LASSO型收缩，以提升预测精度。
• 在正则条件下建立所提估计量的渐近性质。
• 通过模拟与前列腺癌数据集的实际应用评估性能。

提出的方法

• 提出受限LASSO估计量，通过惩罚似然框架，在满足线性约束 $ H\boldsymbol{\beta} = \boldsymbol{h} $ 的条件下最小化残差平方和。
• 推导出三类估计量：预检验LASSO、Stein型收缩LASSO，以及一种新型双重收缩受限LASSO（PRSL），融合约束与收缩机制。
• 在 $ \tilde{\boldsymbol{\beta}}_n \to \boldsymbol{\beta} $ 条件下运用渐近分布理论，结合Sluskey定理与依分布收敛性，推导极限分布。
• 以经典LASSO的调参 $ \tilde{\boldsymbol{\beta}}^{L} $ 为基础，通过 $ C_n^{-1}H^T(HC_n^{-1}H^T)^{-1} $ 的收缩校正来强制实施约束。
• 通过结合LASSO收缩与约束诱导收缩，实现双重收缩机制，由数据驱动的 $ k_n $ 和 $ \tilde{\boldsymbol{\beta}}^{RL}_n $ 控制。
• 使用似然比检验判断约束有效性，并利用指示函数 $ I(\tilde{\boldsymbol{\beta}}^{L}_n \text{ 满足 } H\boldsymbol{\beta} = \boldsymbol{h}) $ 实现估计量之间的切换。

实验结果

研究问题

• RQ1 能否修改LASSO估计量，以纳入已知的回归系数线性约束，从而提升估计效率？
• RQ2 所提出的双重收缩估计量在预测误差与风险方面相较于经典LASSO表现如何？
• RQ3 在正则条件下，所提受限LASSO及其变体的渐近分布为何？
• RQ4 通过约束引入先验知识，是否能显著降低均方误差，相较于标准LASSO？
• RQ5 估计量的表现如何随约束有效性水平与样本大小的变化而变化？

主要发现

• 在前列腺癌数据集中，所提出的双重收缩受限LASSO（PRSL）估计量的期望预测误差与风险均低于经典LASSO。
• 渐近理论证实，在原假设 $ H\boldsymbol{\beta} = \boldsymbol{h} $ 下，受限LASSO估计量 $ \tilde{\boldsymbol{\beta}}^{RL}_n $ 是一致且渐近正态的。
• Stein型收缩LASSO估计量 $ \tilde{\boldsymbol{\beta}}^{SSL}_n $ 依分布收敛至一个包含 $ k \times \text{argmin}(V) $ 的收缩调整极限，其中 $ k \to q-2 $ 在正则条件下成立。
• 预检验LASSO估计量 $ \tilde{\boldsymbol{\beta}}^{PTL}_n $ 在约束有效时渐近表现如受限LASSO，否则如经典LASSO。
• 模拟结果表明，当约束 $ H\boldsymbol{\beta} = \boldsymbol{h} $ 成立时，所提估计量的渐近相对效率显著提升。
• 双重收缩机制通过结合基于约束的收缩与LASSO型收缩，有效降低方差与预测误差，尤其在 $ p $ 相对于 $ n $ 较大时表现更优。