[论文解读] Power of the Spacing test for Least-Angle Regression

Jean‐Marc Azäis, Yohann de Castro+1 more|arXiv (Cornell University)|Mar 17, 2015

Statistical Methods and Inference参考文献 25被引用 9

一句话总结

本论文首次对最小角度回归（LARS）的间距检验进行了理论功效分析，证明在已知噪声方差下该检验无偏。此外，本文提出了LARS的t-间距检验，将方法扩展至未知噪声方差情形，计算复杂度为三次方时间，并通过理论分析与仿真结果表明，该检验在高维设置下，尤其在主导信号存在时，仍保持强大功效。

ABSTRACT

Recent advances in Post-Selection Inference have shown that conditional testing is relevant and tractable in high-dimensions. In the Gaussian linear model, further works have derived unconditional test statistics such as the Kac-Rice Pivot for general penalized problems. In order to test the global null, a prominent offspring of this breakthrough is the spacing test that accounts the relative separation between the first two knots of the celebrated least-angle regression (LARS) algorithm. However, no results have been shown regarding the distribution of these test statistics under the alternative. For the first time, this paper addresses this important issue for the spacing test and shows that it is unconditionally unbiased. Furthermore, we provide the first extension of the spacing test to the frame of unknown noise variance. More precisely, we investigate the power of the spacing test for LARS and prove that it is unbiased: its power is always greater or equal to the significance level $\alpha$. In particular, we describe the power of this test under various scenarii: we prove that its rejection region is optimal when the predictors are orthogonal; as the level $\alpha$ goes to zero, we show that the probability of getting a true positive is much greater than $\alpha$; and we give a detailed description of its power in the case of two predictors. Moreover, we numerically investigate a comparison between the spacing test for LARS and the Pearson's chi-squared test (goodness of fit).

研究动机与目标

• 在先前工作未解决的前提下，建立LARS间距检验在备择假设下的理论功效。
• 将间距检验扩展至噪声方差未知的情形，这是实际应用中的关键限制。
• 在多种高维设置下，比较LARS间距检验与经典皮尔逊卡方检验的性能。
• 在正交设计预测变量及显著性水平α趋于零的极限下，刻画间距检验的最优性与行为特征。
• 提出一种新的检验统计量——LARS的t-间距检验，该统计量在原假设下计算可行且分布可处理。

提出的方法

• 在原假设与备择假设下，对LARS路径中第一和第二节点处的间距检验统计量 S = Φ̄(λ₁)/Φ̄(λ₂) 进行理论分析，其中 λ₁ 与 λ₂ 分别为第一和第二节点。
• 证明间距检验的无偏性：在已知噪声方差及对归一化预测变量的假设(H)下，对所有 α ∈ (0,1)，其功效均满足 ≥ α。
• 基于LARS的前两个节点推导t-间距检验统计量，并在噪声方差未知时，利用t分布近似原假设下的抽样分布。
• 利用安德森不等式及标准正态生存函数的性质，建立检验统计量分布的单调性与边界。
• 在多种情景下进行数值仿真：二维模型、全模型（s=n=p）、稀疏模型（s≪p），以及具有主导信号的极稀疏模型。
• 通过置信水平集与经验功效比较，分析间距检验与皮尔逊卡方检验在不同信号强度与相关结构下的性能差异。

实验结果

研究问题

• RQ1 LARS的间距检验在备择假设下是否无偏，即其功效是否始终大于或等于显著性水平 α？
• RQ2 在高维设置下，间距检验的功效如何表现，特别是当信号稀疏或某一预测变量占主导时？
• RQ3 间距检验能否扩展至噪声方差未知的情形？此时对应的检验统计量及其在原假设下的分布为何？
• RQ4 在不同信号配置下，LARS间距检验与经典皮尔逊卡方检验在经验性能上的比较如何？
• RQ5 在何种条件下，间距检验的拒绝域达到最优，特别是当预测变量正交时？

主要发现

• 证明LARS间距检验无偏：无论备择分布为何，其功效始终大于或等于显著性水平 α。
• 当预测变量正交时，LARS间距检验的拒绝域达到最优，对给定 α 可实现最高可能的功效。
• 当 α → 0 时，正确拒绝 H₀ 的概率远大于 α，表明对弱信号具有极强的敏感性。
• 在双预测变量情形下，本文对功效函数提供了详细的解析描述，明确展示了其对相关结构与信号强度的依赖关系。
• 对于未知噪声方差的情形，所提出的t-间距检验可在三次方时间内计算，且继承了原始间距检验的所有优良性质，包括无偏性及在具有主导信号的高维设置下的高功效。
• 仿真结果表明，尽管在二维模型与全模型设置下皮尔逊卡方检验整体更强大，但在具有主导信号分量的极稀疏模型中，LARS间距检验显著优于卡方检验，尤其在信噪比差距较大时。