[论文解读] Post-selection inference for L1-penalized likelihood models

Jonathan Taylor, Robert Tibshirani|arXiv (Cornell University)|Feb 24, 2016

Statistical Methods and Inference被引用 3

一句话总结

本文提出了一种针对ℓ₁-惩罚似然模型的后选择推断方法，包括广义线性模型、Cox回归和图形Lasso。该方法引入了一种一步牛顿-拉夫森估计量，可在给定Lasso选择结果的条件下提供渐近有效的p值和置信区间，避免了MCMC采样，并改进了先前工作中存在的二阶余项问题。

ABSTRACT

We present a new method for post-selection inference for L1 (lasso)-penalized likelihood models, including generalized regression models. Our approach generalizes the post-selection framework presented in Lee et al (2014). The method provides p-values and confidence intervals that are asymptotically valid, conditional on the inherent selection done by the lasso. We present applications of this work to (regularized) logistic regression, Cox's proportional hazards model and the graphical lasso.

研究动机与目标

• 开发一种基于ℓ₁-惩罚似然模型的后选择推断方法，以实现可靠的统计推断。
• 将后选择推断框架从高斯回归扩展到广义线性模型和生存模型。
• 为后选择设置提供一种计算高效、闭式解的MCMC推断替代方法。
• 解决先前方法中影响推断准确性的二阶余项问题。
• 在考虑Lasso引入的选择偏差的前提下，实现对所选系数的推断。

提出的方法

• 在Lasso拟合后对选定模型应用一步牛顿-拉夫森估计量，该估计量在渐近意义上等价于后Lasso最大似然估计量。
• 采用基于Lasso活动集的条件选择推断框架，利用多面体引理确定高斯设置下的截断界限。
• 通过推导选定模型的适当得分函数和费雪信息量，将该方法应用于广义线性模型。
• 通过使用部分似然和估计选定模型中的得分与信息矩阵，将该方法适配到Cox比例风险模型。
• 通过在ℓ₁-惩罚下推导精度矩阵的对数似然的黑塞矩阵，将框架扩展到图形Lasso。
• 采用基于截断的推断策略，将检验统计量的分布条件化于选择事件，以确保渐近有效性。

实验结果

研究问题

• RQ1 后选择推断能否可靠地从高斯线性模型扩展到ℓ₁-惩罚似然模型，如逻辑回归和Cox回归？
• RQ2 在不依赖MCMC采样的前提下，如何在Lasso选择后构建有效的p值和置信区间？
• RQ3 后选择推断中的二阶余项有何影响，如何加以缓解？
• RQ4 一步估计量能否在非高斯模型（如图形Lasso）中提供渐近有效的推断？
• RQ5 当加入噪声预测变量时，该方法的表现如何？与此类设置下的朴素推断相比有何差异？

主要发现

• 所提出的一步估计量为ℓ₁-惩罚模型（包括逻辑回归和Cox模型）提供了渐近有效的p值和置信区间。
• 在南非心脏病数据中，当加入噪声预测变量后，朴素p值显著小于校正后的p值，而所提方法正确保持了第一类错误控制。
• 在蛋白信号传导数据中，该方法识别出一个显著的交互作用（Mek-P38），p值为0.005，其余均不显著，展示了选择性推断的准确性。
• 该方法避免了MCMC采样，以闭式解形式计算推断，相比Tian和Taylor（2015）等先前方法具有更高的计算效率。
• 该方法在高维设置下表现稳健，即使预测变量数量超过样本量，也能保持正确的覆盖概率，这一点在模拟和真实数据应用中均已验证。
• 该方法已实现在CRAN上的公开R包selectiveInference中，支持可重现且易于在应用研究中使用的推断。