[论文解读] Post-selection adaptive inference for Least Angle Regression and the Lasso

Jonathan Taylor, Richard Lockhart+2 more|arXiv (Cornell University)|Jan 16, 2014

Statistical Methods and Inference参考文献 1被引用 36

一句话总结

本文提出了一种针对最小角度回归（LARS）和套索回归的后选择推断框架，可在模型选择后实现精确的条件假设检验与置信区间。通过将选择事件建模为高斯响应向量 y 上的多面体约束，该方法在有限样本下确保 p 值在原假设下服从均匀分布，从而保证了精确的 I 类错误控制。

ABSTRACT

We propose new inference tools for forward stepwise regression, least angle regression, and the lasso. Assuming a Gaussian model for the observation vector y, we first describe a general scheme to perform valid inference after any selection event that can be characterized as y falling into a polyhedral set. This framework allows us to derive conditional (post-selection) hypothesis tests at any step of forward stepwise or least angle regression, or any step along the lasso regularization path, because, as it turns out, selection events for these procedures can be expressed as polyhedral constraints on y. The p-values associated with these tests are exactly uniform under the null distribution, in finite samples, yielding exact type I error control. The tests can also be inverted to produce confidence intervals for appropriate underlying regression parameters. The R package selectiveInference, freely available on the CRAN repository, implements the new inference tools described in this paper.

研究动机与目标

• 开发前向逐步回归、LARS 和套索回归中模型选择后的有效统计推断方法。
• 解决选择事件依赖于数据时的条件推断挑战，此类情况会违反标准的频率学假设。
• 在有限样本中为后选择假设检验提供精确的 I 类错误控制。
• 在选择后构建回归参数的有效置信区间。
• 通过 R 包 selectiveInference 实现实际应用。

提出的方法

• 该方法将选择事件（如 LARS 或套索中的变量入选）建模为观测向量 y 上的多面体约束。
• 利用 y 位于多面体集合内的条件分布，推导出检验统计量的精确抽样分布。
• 该框架依赖于 LARS 和套索中的选择可表示为 y 落入一个凸多面体的事实，从而实现精确推断。
• 通过在多面体区域内积分推导出条件 p 值，确保在原假设下服从均匀分布。
• 该方法允许对检验进行反演，以构建所选参数的精确置信区间。
• 该方法已通过 CRAN 上的 R 包 selectiveInference 实现，便于实际应用。

实验结果

研究问题

• RQ1 是否可以在 LARS 和套索回归的变量选择后执行精确的后选择推断？
• RQ2 后选择检验的 p 值在有限样本下是否在原假设下服从均匀分布？
• RQ3 是否可以为通过 LARS 或套索选择的回归系数构建有效的置信区间？
• RQ4 这些过程中的选择事件如何被表征为响应向量 y 上的多面体约束？
• RQ5 支撑在数据依赖模型选择后实现精确推断的计算与统计框架是什么？

主要发现

• 所提出的方法在原假设下产生的 p 值恰好服从均匀分布，从而确保了有限样本中的 I 类错误控制。
• LARS 和套索中的选择事件可被表征为 y 落入一个多面体集合，从而实现精确推断。
• 该框架支持选择后的假设检验与置信区间构建。
• 该方法已通过 R 包 selectiveInference 实现，使应用研究人员能够便捷使用。
• 即使模型是基于用于检验的同一组数据选择的，该方法仍能提供有效的推断，解决了自适应推断中的一个关键挑战。
• 该框架可广泛适用于任何其选择事件可表示为 y 上多面体约束的选择过程。