[论文解读] On the efficiency of the de-biased Lasso

Sara van de Geer|arXiv (Cornell University)|Aug 26, 2017

Statistical Methods and Inference参考文献 16被引用 4

一句话总结

本文研究了在高维线性回归中，具有高斯设计与噪声的去偏Lasso估计量的渐近方差。结果表明，在特定条件下——特别是真实系数向量β⁰稀疏且精度矩阵的第一行Θ₁非稀疏时——去偏Lasso的渐近方差可小于Θ₁,₁，这挑战了传统观点认为Θ₁,₁是可达到的最小方差。这意味着在高维情形下，Θ₁的非稀疏性可带来更高效的估计。

ABSTRACT

We consider the high-dimensional linear regression model $Y = X β^0 + ε$ with Gaussian noise $ε$ and Gaussian random design $X$. We assume that $Σ:= E X^T X / n$ is non-singular and write its inverse as $Θ:= Σ^{-1}$. The parameter of interest is the first component $β_1^0$ of $β^0$. We show that in the high-dimensional case the asymptotic variance of a debiased Lasso estimator can be smaller than $Θ_{1,1}$. For some special such cases we establish asymptotic efficiency. The conditions include $β^0$ being sparse and the first column $Θ_1$ of $Θ$ being not sparse. These conditions depend on whether $Σ$ is known or not.

研究动机与目标

• 研究在p ≫ n的高维线性模型中，去偏Lasso估计量的渐近方差。
• 挑战传统假设，即去偏估计量的渐近方差下界为精度矩阵的(1,1)元素Θ₁,₁。
• 考察去偏Lasso实现渐近效率的条件，特别是当精度矩阵的第一行Θ₁非稀疏时。
• 比较在已知与未知协方差矩阵Σ下的性能表现，特别是在精确正交化不可行的高维设置中。
• 构造渐近方差小于Θ₁,₁的实例，证明Θ₁的非稀疏性在估计效率方面具有优势。

提出的方法

• 基于方向估计˜Θ₁ ∈ ℝᵖ（近似真实精度矩阵行Θ₁）推导去偏Lasso估计量的渐近分布。
• 当Σ未知时，使用节点Lasso估计Θ₁，从而在高维中实现近似正交化。
• 应用高斯二次型的概率不等式（如Hanson-Wright型界）以控制高维设置下的估计误差。
• 利用Slutsky定理，在关键项弱收敛的条件下建立去偏估计量的渐近正态性。
• 通过表达式Var(β̃₁) ≈ ˜Θ₁ᵀΣ˜Θ₁分析渐近方差，表明当Θ₁非稀疏时，该值可小于Θ₁,₁。
• 构造特定协方差矩阵Σ，使得去偏Lasso的渐近方差严格小于Θ₁,₁。

实验结果

研究问题

• RQ1 在高维设置下，去偏Lasso估计量的渐近方差是否可能小于Θ₁,₁？
• RQ2 在β⁰和Θ₁满足何种条件下，尽管Θ₁非稀疏，去偏Lasso仍能实现渐近效率？
• RQ3 当Σ已知或未知时，去偏Lasso的性能与精确正交化相比如何？
• RQ4 Θ₁的非稀疏性在降低估计方差方面起什么作用？是否可带来效率增益？
• RQ5 能否构造出渐近方差严格小于由Θ₁,₁所隐含的Cramér-Rao下界的实例？

主要发现

• 当β⁰稀疏且精度矩阵的第一行Θ₁非稀疏时，去偏Lasso的渐近方差可严格小于Θ₁,₁。
• 在Σ已知时，使用节点Lasso替代精确正交化可降低渐近方差，尤其在Θ₁非稀疏时更为显著。
• 当Σ未知时，高维设置下无法实现精确正交化，但若Θ₁非稀疏，基于噪声Lasso的去偏方法仍可实现方差降低。
• 本文构造了具体的Σ实例，其去偏Lasso的渐近方差小于Θ₁,₁，证明此类效率增益并非理论异常。
• 在特殊情形下，即使标准假设（如Θ₁的稀疏性）被违反，当β⁰稀疏且Θ₁非稀疏时，渐近效率仍可实现。
• 该现象本质上是高维的：在低维情形下不会发生，凸显了高维统计中一种新型的效率行为。