[论文解读] Post-Selection Inference for Generalized Linear Models With Many Controls

Alexandre Belloni, Victor Chernozhukov+1 more|arXiv (Cornell University)|Apr 15, 2013

Statistical Methods and Inference参考文献 21被引用 17

一句话总结

本文提出了一种针对高维控制变量的广义线性模型的后模型选择推断方法，通过双重选择或最优工具策略，即使在控制变量数量超过样本量的情况下，也能在稀疏性假设下实现根n一致估计和对感兴趣参数的统一有效置信区域，且无需依赖分离性条件。

ABSTRACT

This article considers generalized linear models in the presence of many controls. We lay out a general methodology to estimate an effect of interest based on the construction of an instrument that immunizes against model selection mistakes and apply it to the case of logistic binary choice model. More specifically we propose new methods for estimating and constructing confidence regions for a regression parameter of primary interest α₀, a parameter in front of the regressor of interest, such as the treatment variable or a policy variable. These methods allow to estimate α₀ at the root-<i>n</i> rate when the total number <i>p</i> of other regressors, called controls, potentially exceeds the sample size <i>n</i> using sparsity assumptions. The sparsity assumption means that there is a subset of <i>s</i> &lt; <i>n</i> controls, which suffices to accurately approximate the nuisance part of the regression function. Importantly, the estimators and these resulting confidence regions are valid uniformly over <i>s</i>-sparse models satisfying <i>s</i>²log ²<i>p</i> = <i>o</i>(<i>n</i>) and other technical conditions. These procedures do not rely on traditional consistent model selection arguments for their validity. In fact, they are robust with respect to moderate model selection mistakes in variable selection. Under suitable conditions, the estimators are semi-parametrically efficient in the sense of attaining the semi-parametric efficiency bounds for the class of models in this article.

研究动机与目标

• 解决当控制变量数量p超过样本量n时，高维广义线性模型中有效统计推断的挑战。
• 为感兴趣参数α₀开发对模型选择错误具有鲁棒性的统一有效推断程序。
• 消除对分离性条件的依赖，该条件在计量经济学和生物统计学应用中通常不现实。
• 在稀疏性假设下实现根n一致性和半参数效率估计。
• 提供在满足s² log²p = o(n)的s-稀疏模型中覆盖概率一致正确的置信区域。

提出的方法

• 采用双重选择方法构建一个在高维设定下对模型选择错误具有鲁棒性的估计量。
• 通过最优工具构造使推断对变量选择错误具有免疫性，灵感源自Neyman对无关参数的处理方法。
• 应用ℓ₁-惩罚估计（如Lasso类型）在稀疏性假设下识别相关控制变量。
• 通过一步校正或双重选择构建置信区域，以确保在各类模型中均保持统一有效性。
• 利用稀疏性假设，即仅需s ≪ n个控制变量即可准确近似无关回归函数。
• 确保有效性不依赖于一致的模型选择，而是依赖于高维渐近理论和集中不等式。

实验结果

研究问题

• RQ1 当p ≫ n时，能否在高维广义线性模型中为感兴趣参数构建统一有效的置信区域？
• RQ2 如何在不依赖模型选择一致性的情况下，为感兴趣参数实现根n一致性？
• RQ3 当某些系数接近零（即违反分离性条件）时，推断程序对中等程度模型选择错误的鲁棒性如何？
• RQ4 在稀疏性假设下且不假设分离性时，能否在高维GLMs中实现半参数效率？
• RQ5 在近似稀疏设计下，双重选择方法的性能与基于传统模型选择的推断相比如何？

主要发现

• 在s² log²p = o(n)条件下，所提出的估计量即使在p ≫ n时，对感兴趣参数α₀仍能实现根n一致性。
• 置信区域在s-稀疏模型中保持正确的渐近覆盖概率，且无需一致的模型选择。
• 该方法对中等程度的模型选择错误具有鲁棒性，尤其在系数为O(n⁻¹/²)量级时，通常与零无异。
• 估计量实现了半参数效率，达到所考虑模型类的半参数效率界限。
• 蒙特卡洛模拟显示，双重选择估计量在近似稀疏模型中表现稳定，性能与精确稀疏设计下相似。
• 该方法在不假设分离性条件的情况下依然有效，而该条件在实际计量经济学和生物统计学设置中通常不现实。