[论文解读] Tractable Post-Selection Maximum Likelihood Inference for the Lasso

Amit Meir, Mathias Drton|arXiv (Cornell University)|May 26, 2017

Statistical Methods and Inference参考文献 41被引用 5

一句话总结

本文提出了一种随机优化框架，用于在通过套索法选择的高维线性模型中实现可处理的后选择最大似然推断。通过生成后选择得分函数的无偏噪声估计，该方法实现了稳定的估计和有效的置信区间，覆盖概率接近名义水平，优于标准套索法和重拟合最小二乘法在稀疏设置下的表现。

ABSTRACT

Applying standard statistical methods after model selection may yield inefficient estimators and hypothesis tests that fail to achieve nominal type-I error rates. The main issue is the fact that the post-selection distribution of the data differs from the original distribution. In particular, the observed data is constrained to lie in a subset of the original sample space that is determined by the selected model. This often makes the post-selection likelihood of the observed data intractable and maximum likelihood inference difficult. In this work, we get around the intractable likelihood by generating noisy unbiased estimates of the post-selection score function and using them in a stochastic ascent algorithm that yields correct post-selection maximum likelihood estimates. We apply the proposed technique to the problem of estimating linear models selected by the lasso. In an asymptotic analysis the resulting estimates are shown to be consistent for the selected parameters and to have a limiting truncated normal distribution. Confidence intervals constructed based on the asymptotic distribution obtain close to nominal coverage rates in all simulation settings considered, and the point estimates are shown to be superior to the lasso estimates when the true model is sparse.

研究动机与目标

• 为解决模型选择后推断无效的根本性挑战，特别是在套索法下的高维设置中。
• 开发一种计算上可行的方法，用于计算考虑套索回归选择事件的极大似然估计。
• 通过校正后选择推断中的选择偏差，构建具有准确覆盖概率的置信区间。
• 提供一个可推广至套索法之外的指数族模型（包括广义线性模型）的一般性框架。

提出的方法

• 该方法在后选择得分函数的无偏噪声估计上使用随机上升法，以计算套索选择后的最大似然估计。
• 它利用了后选择似然函数难以计算的事实，因为数据被限制在由选择事件定义的随机多面体集合中。
• 通过受控噪声的蒙特卡洛采样估计得分函数，从而实现向真实后选择最大似然估计的收敛。
• 该方法在渐近意义上有效，在正则条件下，估计量收敛至截断正态分布。
• 置信区间基于估计量的渐近分布构建，确保正确的覆盖概率。
• 该框架通过带有一致且无偏得分估计器的随机梯度上升算法实现。

实验结果

研究问题

• RQ1 我们能否在套索法选择后，尽管后选择似然函数难以计算，仍能计算出有效的最大似然估计？
• RQ2 所提出的随机优化方法在后选择抽样下是否能产生一致且渐近正态的估计量？
• RQ3 与未经调整的标准区间相比，所得置信区间的覆盖概率和区间长度如何？
• RQ4 该方法能否推广至套索法之外的其他指数族模型？

主要发现

• 所提出的条件最大似然估计量对选定模型参数是一致的，且渐近服从截断正态分布。
• 基于渐近分布的置信区间在所有模拟设置中均实现了接近95%的覆盖概率，而未经调整的区间则明显过于保守。
• 当真实模型为稀疏时，点估计量在预测精度方面优于标准套索法和重拟合最小二乘法。
• 条件-Wald置信区间显著短于多面体区间，且变异性更低，同时保持了相似的覆盖概率。
• 即使在协变量数量庞大的情况下，该方法在计算上也切实可行，使得高维设置下的实际后选择推断成为可能。