[论文解读] Tests in adaptive regression via the Kac-Rice formula

Jonathan Taylor, Joshua R. Loftus+1 more|arXiv (Cornell University)|Aug 14, 2013

Statistical Methods and Inference参考文献 15被引用 15

一句话总结

本文提出了一种基于Kac-Rice公式的精确p值检验方法，用于自适应回归中的全局零假设检验，在高斯误差下实现有限样本推断。该方法利用高斯过程在凸集上的最大值分布，实现了对最大化点处均值参数的精确选择性推断，适用于套索、组套索、主成分分析和矩阵补全等问题。

ABSTRACT

We derive an exact p-value for testing a global null hypothesis in a general adaptive regression problem. The general approach uses the Kac-Rice formula, as described in (Adler & Taylor 2007). The resulting formula is exact in finite samples, requiring only Gaussianity of the errors. We apply the formula to the lasso, group lasso, and principal components and matrix completion problems. In the case of the lasso, the new test relates closely to the recently proposed covariance test of Lockhart et al. (2013).

研究动机与目标

• 开发一种适用于一般凸正则化自适应回归设置下的全局零假设精确推断框架。
• 将Kac-Rice公式应用于高斯过程在凸集上最大值的分布，实现有限样本p值。
• 在高斯误差假设下，将选择性推断扩展至过程全局最大值点处的均值参数。
• 提供一个统一的框架，适用于套索、组套索、主成分分析和矩阵补全问题。
• 证明所提出的检验是精确的（非渐近的），且仅依赖于高斯性假设，对设计矩阵的假设极少。

提出的方法

• 推导了在凸集 $\mathcal{K} \subseteq \mathbb{R}^p$ 上索引的高斯过程上确界的Kac-Rice公式。
• 将该公式应用于检验统计量 $\lambda_1 = \max_{\eta \in \mathcal{K}} \eta^T X^T y$，其中 $\mathcal{K} = \{\eta : \|\eta\|_1 \leq 1\}$，在零假设 $H_0: \beta_0 = 0$ 下。
• 将检验统计量定义为标准正态CDF的比值：$\frac{\Phi(\mathcal{V}^+_{\eta^*}/\Theta_{j^*j^*}^{1/2}) - \Phi(\lambda_1/\Theta_{j^*j^*}^{1/2})}{\Phi(\mathcal{V}^+_{\eta^*}/\Theta_{j^*j^*}^{1/2}) - \Phi(\mathcal{V}^-_{\eta^*}/\Theta_{j^*j^*}^{1/2})}$，该统计量在零假设下恰好服从均匀分布。
• 引入 $\mathcal{V}^-_{\eta^*}$ 和 $\mathcal{V}^+_{\eta^*}$ 作为由次梯度条件和协方差结构 $\Theta = X^T \Sigma X$ 导出的关键边界。
• 证明该检验在高斯误差下是精确的，无需渐近近似或对设计矩阵施加限制。
• 通过对偶性和支撑函数理论，将该框架推广至一般正则化回归问题，利用惩罚次梯度集的极对偶体。

实验结果

研究问题

• RQ1 我们能否为具有通用凸惩罚的自适应回归中的全局零假设 $H_0: \beta_0 = 0$ 推导出精确p值？
• RQ2 Kac-Rice公式如何应用于高斯过程在凸集上最大值的分布，以实现有限样本推断？
• RQ3 在零假设下，套索路径中第一个结点 $\lambda_1$ 的精确分布是什么？
• RQ4 与Lockhart等人（2013）提出的协方差检验相比，该检验在有效性与保守性方面有何差异？
• RQ5 能否利用该框架使在最大值点处的均值参数的选择性推断实现精确化？

主要发现

• 所提出的检验统计量 $\frac{\Phi(\mathcal{V}^+_{\eta^*}/\Theta_{j^*j^*}^{1/2}) - \Phi(\lambda_1/\Theta_{j^*j^*}^{1/2})}{\Phi(\mathcal{V}^+_{\eta^*}/\Theta_{j^*j^*}^{1/2}) - \Phi(\mathcal{V}^-_{\eta^*}/\Theta_{j^*j^*}^{1/2})}$ 在全局零假设下恰好服从均匀分布。
• 在标准化套索情形下（$\Sigma = I$），检验简化为 $\frac{1 - \Phi(\lambda_1)}{1 - \Phi(\lambda_2)} \sim \mathrm{Unif}(0,1)$，其中 $\lambda_2$ 是套索路径中的第二个结点。
• Kac-Rice检验是精确且非渐近的，仅依赖于高斯误差假设，且对设计矩阵 $X$ 无任何限制。
• 该方法为高斯过程全局最大值点处的均值参数提供了精确的选择性推断，而不仅限于选择事件本身。
• 图1(a)中的实证结果证实，Kac-Rice检验的p值在零假设下服从均匀分布，验证了其精确性。
• 与使用 $\mathrm{Exp}(1)$ 近似的协方差检验相比，后者具有保守性，而Kac-Rice检验是精确的，不依赖于渐近近似。