[论文解读] The Benefit of Group Sparsity in Group Inference with De-biased Scaled Group Lasso

Ritwik Mitra, Cun‐Hui Zhang|arXiv (Cornell University)|Dec 13, 2014

Statistical Methods and Inference参考文献 47被引用 3

一句话总结

本文提出了一种去偏缩放组Lasso方法，用于高维线性回归，通过校正组内正则化估计量中的偏差，实现基于卡方分布的大组系数有效推断。该方法建立了渐近正态性，并捕捉了组稀疏性的优势，即使在大组情况下也无需增加样本量要求，即可实现最优误差率。

ABSTRACT

We study confidence regions and approximate chi-squared tests for variable groups in high-dimensional linear regression. When the size of the group is small, low-dimensional projection estimators for individual coefficients can be directly used to construct efficient confidence regions and p-values for the group. However, the existing analyses of low-dimensional projection estimators do not directly carry through for chi-squared-based inference of a large group of variables without inflating the sample size by a factor of the group size. We propose to de-bias a scaled group Lasso for chi-squared-based statistical inference for potentially very large groups of variables. We prove that the proposed methods capture the benefit of group sparsity under proper conditions, for statistical inference of the noise level and variable groups, large and small. Such benefit is especially strong when the group size is large.

研究动机与目标

• 开发一种方法，用于在高维线性回归（$ p \gg n $）中构建组系数的有效置信区域和p值。
• 解决现有低维投影估计量的局限性，即在大组推断时需将样本量增加组大小的倍数。
• 在不牺牲统计效率的前提下，实现对可能非常大的组的基于卡方分布的推断。
• 正式建立组稀疏性在推断中的优势，特别是在组大小较大时。
• 提供一个去偏框架，使其在适当条件下实现渐近正态性并达到费雪信息量界限。

提出的方法

• 对缩放组Lasso估计量应用去偏，以校正组内回归系数中的估计偏差。
• 该方法使用一种松弛投影估计量，构建组参数的渐近正态估计量，确保有效推断。
• 关键组成部分是使用一个近似正交于感兴趣组外所有变量的得分向量近似。
• 该方法依赖于组稀疏特征值条件，并通过Lasso估计精度矩阵逆矩阵来估计费雪信息量界限。
• 理论分析采用高维浓度不等式和组内稀疏性假设，以控制渐近分布中余项的大小。
• 该方法被证明可实现$ \ell_2 $-误差界，其尺度为$ \|\boldsymbol{\beta}^*\|_0 \log p / \sqrt{n} $，避免了大组情况下$ |G|^{1/2} $的膨胀。

实验结果

研究问题

• RQ1 能否在高维线性模型中为大组系数构建有效的基于卡方分布的置信区域和p值？
• RQ2 对缩放组Lasso进行去偏是否能实现高效推断，而无需按组大小成比例增加样本量？
• RQ3 组稀疏性在多大程度上能提升高维设定下统计推断的准确性？
• RQ4 在何种条件下，去偏缩放组Lasso能实现渐近正态性并达到费雪信息量界限？
• RQ5 当组大小相对于样本大小较大时，该方法表现如何？

主要发现

• 所提出的去偏缩放组Lasso在组参数上实现了渐近正态性，满足$ \sqrt{n}(\widehat{\boldsymbol{\beta}}_G - \boldsymbol{\beta}^*_G) \approx \mathsf{N}(\boldsymbol{0}, \sigma^2 \mathbf{V}_{G,G}) $，从而支持有效的卡方推断。
• 该方法避免了在朴素扩展低维投影估计量时出现的$ |G|^{1/2} $误差界膨胀，从而真正捕捉了组稀疏性优势。
• 渐近展开中的余项满足$ \|\mathrm{Rem}_G\|_2 = o(1) $，且无需假设$ |G| $较小，即使在大组情况下也成立。
• 在组稀疏特征值条件和精度矩阵稀疏性假设下，理论保证成立，确保了费雪信息量效率。
• 该方法在$ \ell_2 $-范数下实现了最优误差率，其尺度为$ \|\boldsymbol{\beta}^*\|_0 \log p / \sqrt{n} $，且与组大小无关。
• 分析结果证实，组稀疏性显著提升了推断效率，尤其在组大小较大时更为明显。