[论文解读] The adaptive and the thresholded Lasso for potentially misspecified models

Sara van de Geer, Peter Bühlmann+1 more|arXiv (Cornell University)|Jan 28, 2010

Statistical Methods and Inference参考文献 30被引用 11

一句话总结

本文在潜在模型误设的高维线性模型下，对自适应Lasso与阈值化Lasso（含重拟合）进行了理论比较。两种方法的预测误差与估计误差均与单阶段Lasso相近，但阈值化Lasso在假阳性选择上的界更紧，尤其在弱限制特征值条件下表现更优。

ABSTRACT

We revisit the adaptive Lasso as well as the thresholded Lasso with refitting, in a high-dimensional linear model, and study prediction error, $\ell_q$-error ($q \in \{1, 2 \} $), and number of false positive selections. Our theoretical results for the two methods are, at a rather fine scale, comparable. The differences only show up in terms of the (minimal) restricted and sparse eigenvalues, favoring thresholding over the adaptive Lasso. As regards prediction and estimation, the difference is virtually negligible, but our bound for the number of false positives is larger for the adaptive Lasso than for thresholding. Moreover, both these two-stage methods add value to the one-stage Lasso in the sense that, under appropriate restricted and sparse eigenvalue conditions, they have similar prediction and estimation error as the one-stage Lasso, but substantially less false positives.

研究动机与目标

• 在真实回归函数可能为非线性的情况下，对高维线性模型中的自适应Lasso与阈值化Lasso（含重拟合）进行理论比较。
• 在设计矩阵假设最弱的条件下，分析预测误差、ℓq-误差（q ∈ {1,2}）以及假阳性选择。
• 在不需严格不可表示性或不相干性条件的前提下，评估变量选择性能。
• 证明两种两阶段方法通过减少假阳性，优于单阶段Lasso，同时保持相近的预测与估计精度。

提出的方法

• 以单阶段Lasso作为第一步，获得初始系数估计，随后采用两种不同的两阶段程序：自适应Lasso与阈值化Lasso（含重拟合）。
• 通过使用初始估计的倒数作为权重，应用加权ℓ1-惩罚回归实现自适应Lasso：β̂_adap = argmin{‖Y−Xβ‖²/n + λ_init λ_adap ∑|βj|/|β̂j,init|}。
• 通过选择满足 |β̂j,init| > λ_thres 的变量，然后在所选集合上使用普通最小二乘法进行重拟合，实现阈值化Lasso。
• 采用受限与稀疏特征值条件（弱于不相干性）推导预测、估计与变量选择误差的非渐近界。
• 利用设计矩阵的结构与Gram矩阵的最小特征值，推导假阳性选择的界。
• 通过将预测误差与估计误差分解为逼近与估计两部分，结合浓度不等式与经验过程理论，推导理论界。

实验结果

研究问题

• RQ1 在高维且可能存在误设的模型下，自适应Lasso与阈值化Lasso的预测误差与估计误差如何比较？
• RQ2 在弱特征值条件下，两种方法在假阳性选择方面的相对表现如何？
• RQ3 阈值化Lasso是否能在不牺牲预测精度的前提下，实现优于自适应Lasso的变量选择一致性？
• RQ4 在何种条件下，两种两阶段方法在假阳性控制方面优于单阶段Lasso？
• RQ5 误差与选择的理论界如何依赖于设计矩阵的最小与最大特征值？

主要发现

• 当最小受限或稀疏特征值较小时，或最大特征值较大时，阈值化Lasso在假阳性数量上的上界小于自适应Lasso。
• 在适当的受限与稀疏特征值条件下，两种方法的预测误差与ℓq-误差（q ∈ {1,2}）界与单阶段Lasso相近。
• 自适应Lasso的变量选择性能依赖于其预测误差，而阈值化Lasso的选择可独立分析，从而获得更紧的界。
• 自适应Lasso的假阳性界与Λ_sparse²(s₀) δ̂_adap² / λ_adap²成正比，而阈值化Lasso的界在弱特征值条件下更小。
• 当真实系数足够大时，通过利用真实系数大小的倒数进行精细化分析，自适应Lasso可获得更优的界。
• 在设计假设较弱时，尤其当设计矩阵具有高相关性或弱稀疏性时，阈值化Lasso（含重拟合）提供了更具鲁棒性的变量选择机制。