[论文解读] Selective Inference for Group-Sparse Linear Models

Fan Yang, Rina Foygel Barber+2 more|arXiv (Cornell University)|Jul 27, 2016

Statistical Methods and Inference被引用 35

一句话总结

本文为组稀疏线性模型开发了选择性推断工具，可在模型选择后对所选组提供有效的p值和置信区间。提出了一项‘截断投影引理’，用于刻画在选择事件条件下投影到子空间上的投影模长的分布，将选择性推断扩展至组lasso、迭代硬阈值法以及前向逐步回归，并实现了有限样本有效性。

ABSTRACT

We develop tools for selective inference in the setting of group sparsity, including the construction of confidence intervals and p-values for testing selected groups of variables. Our main technical result gives the precise distribution of the magnitude of the projection of the data onto a given subspace, and enables us to develop inference procedures for a broad class of group-sparse selection methods, including the group lasso, iterative hard thresholding, and forward stepwise regression. We give numerical results to illustrate these tools on simulated data and on health record data.

研究动机与目标

• 为解决组稀疏模型选择后有效统计推断的挑战，因选择引起的偏差导致经典方法失效。
• 为组稀疏模型开发有限样本、非渐近的推断工具，包括所选组的p值和置信区间。
• 将选择性推断从单个变量选择扩展至组水平效应，尤其适用于具有分组特征的高维设置。
• 提供一个适用于多种组稀疏选择方法的通用框架，包括组lasso、迭代硬阈值法和前向逐步选择。
• 推导出投影模长在选定子空间上的精确条件分布，从而实现在选择后准确的不确定性量化。

提出的方法

• 提出一项‘截断投影引理’，用于刻画在选择事件条件下，Y在子空间L上的投影的平方范数∥PLY∥²的分布。
• 在非中心多变量正态分布下推导投影模长的精确密度，通过条件化于多面体约束来处理选择效应。
• 将截断投影引理应用于通过条件化于特定组被选中的事件，构建组效应的p值和置信区间。
• 开发一种高效算法（算法1），用于前向逐步组选择，通过在截断区域上的一维积分计算p值和置信区间。
• 采用变量变换至投影范数的对数（Z = log(R)）以简化条件密度并支持数值计算。
• 采用球坐标分解以处理投影的方向分量，将径向（模长）和角向（方向）分量分离，实现可处理的推断。

实验结果

研究问题

• RQ1 如何在数据依赖的选择后，为组稀疏线性模型中所选组的显著性构建有效的p值？
• RQ2 在选择事件条件下，响应在所选组方向上的投影的精确有限样本分布是什么？
• RQ3 我们能否构建在模型选择后依然有效的组效应模长置信区间，即使选择过程是非线性和高维的？
• RQ4 如何将选择性推断工具——此前仅限于单个变量选择——扩展至具有块结构特征的组稀疏设置？
• RQ5 支撑一组稀疏选择方法（包括组lasso和迭代硬阈值法）广泛推断的理论基础是什么？

主要发现

• 本文精确刻画了在选择事件条件下投影模长∥PLY∥²的条件分布，这是个体lasso选择中多面体引理在组层面的类比。
• 所推导的分布使得即使在基于组lasso或前向逐步选择等非线性过程的选择下，也能获得有效的p值和置信区间。
• 该方法实现了有限样本有效性，无需依赖渐近近似，适用于小样本量的高维设置。
• 在模拟数据和真实健康记录数据上的数值结果表明，所提出的推断工具保持了正确的第一类错误率和置信区间的覆盖概率。
• 算法实现（算法1）计算高效，仅需在截断区域上进行一维数值积分，适用于实际应用。
• 该方法通过条件化于选择事件，成功处理了组稀疏估计量的非高斯、多峰采样分布，克服了经典推断的局限性。