[论文解读] Uniform Post Selection Inference for LAD Regression Models

Alexandre Belloni, Victor Chernozhukov+1 more|arXiv (Cornell University)|Apr 1, 2013

Statistical Methods and Inference被引用 5

一句话总结

该论文提出了一种在高维稀疏LAD回归模型中，基于后ℓ1-惩罚或ℓ1-惩罚LAD回归的工具变量LAD估计量，用于构建回归系数的统一有效置信区域。该方法在稀疏模型中实现了渐近正态推断的统一性，即使当p = 2时，也克服了朴素基于oracle的推断方法的失效问题。

ABSTRACT

We develop uniformly valid confidence regions for a regression coefficient in a high-dimensional sparse LAD (least absolute deviation or median) regression model. The setting is one where the number of regressors p could be large in comparison to the sample size n, but only s « n of them are needed to accurately describe the regression function. Our new methods are based on the instrumental LAD regression estimator that assembles the optimal estimating equation from either post ℓ- penalised LAD regression or ℓ1- penalised LAD regression. The estimating equation is immunised against non-regular estimation of nuisance part of the regression function, in the sense of Neyman. We establish that in a homoscedastic regression model, under certain conditions, the instrumental LAD regression estimator of the regression coefficient is asymptotically root-n normal uniformly with respect to the underlying sparse model. The resulting confidence regions are valid uniformly with respect to the underlying model. The new inference methods outperform the naive, 'oracle based' inference methods, which are known to be not uniformly valid- with coverage property failing to hold uniformly with respect the underlying model- even in the setting with p = 2. We also provide Monte-Carlo experiments which demonstrate that standard post-selection inference breaks down over large parts of the parameter space, and the proposed method does not.

研究动机与目标

• 为高维稀疏LAD回归模型中的回归系数开发统一有效的置信区域。
• 解决高维设定下标准后选择推断方法的失效问题。
• 确保在p ≫ n的情况下，推断在所有稀疏模型中保持统一有效性。
• 构建对干扰回归函数非正则估计具有鲁棒性的估计量。
• 展示所提方法在覆盖精度上优于失效无法保持统一覆盖的基于oracle的推断方法。

提出的方法

• 该方法使用基于最优 estimating equation 的工具变量LAD回归估计量。
• 通过后ℓ1-惩罚或ℓ1-惩罚LAD回归构建 estimating equation，以选择相关回归变量。
• 通过Neyman的免疫化原理设计估计量，使其对干扰分量的非正则估计具有免疫性。
• 在同方差性和稀疏性条件下，建立了估计量的渐近正态性。
• 证明了置信区域在潜在稀疏模型空间中的统一有效性。
• 使用蒙特卡洛实验将性能与标准后选择推断方法进行比较。

实验结果

研究问题

• RQ1 是否可以为高维稀疏LAD模型中的回归系数构建统一有效的置信区域？
• RQ2 标准后选择推断方法是否在参数空间的大部分区域失效，即使在低维设定下？
• RQ3 通过LAD回归实现的工具变量估计是否能确保系数估计量的统一渐近正态性？
• RQ4 与基于oracle的推断相比，所提方法在覆盖精度方面表现如何？
• RQ5 所提方法是否对干扰回归函数的非正则估计具有鲁棒性？

主要发现

• 在同方差性条件下，工具变量LAD估计量在稀疏模型空间中实现了统一的渐近根n正态性。
• 基于该估计量的置信区域在所有潜在稀疏模型中均保持统一有效性，包括p = 2的情况。
• 蒙特卡洛实验表明，标准后选择推断在参数空间的大部分区域失效。
• 尽管广泛使用，基于oracle的推断方法在低维情况下也无法保持统一覆盖。
• 所提方法在整个参数空间中保持了准确的覆盖，优于朴素推断方法。
• 免疫化方法成功缓解了干扰分量中非正则估计的影响。