[论文解读] Semi-parametric efficiency bounds and efficient estimation for high-dimensional models

Sara van de Geer, Jana Janková|arXiv (Cornell University)|Jan 5, 2016

Statistical Methods and Inference被引用 5

一句话总结

本文在局部一致渐近无偏性假设下，为高维模型建立了半参数效率界，并推导出明确的方差下界。提出了一种去稀疏化的ℓ₁-惩罚M-估计器，可达到这些界，并以最小方差收敛至正态分布，证明了在高维线性回归、高斯图形模型和高斯序列模型中具有渐近效率。

ABSTRACT

Asymptotic lower bounds for estimation play a fundamental role in assessing the quality of statistical procedures. In this paper we consider the possibility of establishing semi-parametric efficiency bounds for high-dimensional models and construction of estimators reaching these bounds. We propose a local uniform asymptotic unbiasedness assumption for high-dimensional models and derive explicit lower bounds on the variance of any asymptotically unbiased estimator. We show that an estimator obtained by de-sparsifying (or de-biasing) an $\ell_1$-penalized M-estimator is asymptotically unbiased and achieves the lower bound on the variance: thus it is asymptotically efficient. In particular, we consider the linear regression model, Gaussian graphical models and Gaussian sequence models under mild conditions. Furthermore, motivated by the results of Le Cam on local asymptotic normality, we show that the de-sparsified estimator converges to the limiting normal distribution with zero mean and the smallest possible variance not only pointwise, but locally uniformly in the underlying parameter. This is achieved by deriving an extension of Le Cam's Lemma to the high-dimensional setting.

研究动机与目标

• 推导在传统参数假设可能不成立的高维模型中的半参数效率界。
• 解决在参数众多的高维设定下构造最低可能方差估计器的挑战。
• 将莱卡姆（Le Cam）的局部渐近正态性理论扩展至高维模型，以确保一致收敛至极限正态分布。
• 建立去稀疏化估计器渐近无偏且高效的条件。
• 为高维统计模型（如线性回归、高斯图形模型和高斯序列模型）的高效推断提供理论基础。

提出的方法

• 引入局部一致渐近无偏性假设，以在高维模型中推导半参数效率界。
• 在该假设下，推导出任意渐近无偏估计器方差的显式下界。
• 提出一种应用于ℓ₁-惩罚M-估计器的去稀疏化技术，以消除正则化引起的偏差。
• 证明去稀疏化估计器是渐近无偏的，并达到所推导的方差下界。
• 将莱卡姆（Le Cam）引理扩展至高维设定，以建立局部一致收敛至最小方差正态分布的性质。
• 将该框架应用于具体模型：在温和正则性条件下，适用于线性回归、高斯图形模型和高斯序列模型。

实验结果

研究问题

• RQ1 在最小正则性假设下，高维模型的半参数效率界是什么？
• RQ2 去稀疏化的ℓ₁-惩罚M-估计器是否可在高维设定中达到半参数效率界？
• RQ3 在何种条件下，去稀疏化估计器会收敛至具有最小可能方差的正态分布？
• RQ4 如何将莱卡姆（Le Cam）的局部渐近正态性理论扩展至高维模型，以确保一致收敛？
• RQ5 理论效率界在不同高维模型（如线性回归和高斯图形模型）中的适用程度如何？

主要发现

• 本文在局部一致渐近无偏性假设下，为高维模型中任意渐近无偏估计器的方差建立了显式下界。
• 证明去稀疏化的ℓ₁-惩罚M-估计器是渐近无偏的，并达到所推导的半参数效率界。
• 去稀疏化估计器在参数空间中既逐点又局部一致地收敛至均值为零、方差最小的正态分布。
• 将莱卡姆（Le Cam）引理扩展至高维模型，证实了其局部一致收敛至极限正态分布且方差最小。
• 在温和正则性条件下，结果在三个关键模型中得到验证：线性回归、高斯图形模型和高斯序列模型。
• 理论框架为高维统计中的高效推断提供了基础，确保了最优方差与渐近正态性。