[论文解读] Testing heteroscedasticity for regression models based on projections

Falong Tan, Xuejun Jiang+2 more|arXiv (Cornell University)|Aug 8, 2018

Statistical Methods and Inference参考文献 19被引用 3

一句话总结

本文提出了一种基于投影的异方差性检验方法，适用于高维参数模型和部分线性回归模型，通过将协变量投影到一维方向上，克服了维度灾难问题。该检验基于投影数据上的残差标记经验过程，可在局部替代假设下实现最优检测率 $O(1/ ext{sqrt}{n})$，并采用有效的基于残差的自助法进行推断，其渐近理论与模拟结果均证实了该方法在高维情形下的稳健性与检验功效。

ABSTRACT

In this paper we propose a new test of heteroscedasticity for parametric regression models and partial linear regression models in high dimensional settings. When the dimension of covariates is large, existing tests of heteroscedasticity perform badly due to the \curse of dimensionality". To attack this problem, we construct a test of heteroscedasticity by using a projection-based empirical process. We study the asymptotic properties of the test statistic under the null hypothesis and alternative hypotheses. It is shown that the test can detect local alternatives departure from the null hypothesis at the fastest possible rate in hypothesis testing. As the limiting null distribution of the test statistic is not distribution free, we propose a residual-based bootstrap. The validity of the bootstrap approximations is investigated. We present some simulation results to show the finite sample performances of the test. Two real data analyses are conducted for illustration.

研究动机与目标

• 解决现有异方差性检验在协变量维度增加时检验功效下降的“维度灾难”问题。
• 为参数模型和部分线性回归模型开发一种检验方法，即使协变量数量较大，也能保持高检验功效。
• 基于协变量的一维投影构造检验统计量，以降低维度，同时保持检测敏感性。
• 在原假设和局部替代假设下建立该检验的渐近理论，确保实现最优检测率。
• 提出并验证一种基于残差的自助法，用于近似原假设分布，该方法并非渐近分布自由。

提出的方法

• 该检验利用投影协变量 $ \alpha^\top Z $（其中 $ \alpha \in \mathbb{S}^{p} $）构造残差标记经验过程，以将维度降低至一维。
• 检验统计量是投影经验过程的泛函，定义为 $ V_n(\alpha,t) = \frac{1}{\sqrt{n}} \sum_{i=1}^n \eta_i [I(\alpha^\top Z_i \leq t) - F_\alpha(t)] $，其中 $ \eta_i = \hat{\varepsilon}_i^2 - \hat{\sigma}^2 $。
• 在原假设下推导出检验统计量的渐近正态性，其收敛至一个以 $ \alpha $ 和 $ t $ 为索引的高斯过程。
• 由于极限原假设分布并非分布自由，因此提出一种基于残差的自助法以近似临界值。
• 在较弱的正则性条件下，证明了该自助法的合理性，理论依据基于经验过程和 VC 类论证。
• 该方法利用了指示函数族 $ \{I(\alpha^\top z \leq t)\} $ 属于 VC 类的事实，从而可获得一致收敛结果。

实验结果

研究问题

• RQ1 能否设计一种异方差性检验，在传统检验因维度灾难而失效的高维回归模型中仍保持高检验功效？
• RQ2 将高维协变量投影到一维方向上，是否能保持以最优速率 $ O(1/\sqrt{n}) $ 检测局部替代的能力？
• RQ3 该检验统计量的极限原假设分布是否为分布自由？能否通过自助法获得有效的临界值？
• RQ4 在有限样本中，该检验与现有非参数检验及基于残差的检验相比，在大小和功效方面表现如何？
• RQ5 该检验能否推广至包含参数与非参数分量的偏线性回归模型？

主要发现

• 所提出的检验实现了检测局部替代的最快可能收敛速率 $ O(1/\sqrt{n}) $，与参数速率一致，证实了其最优性。
• 该检验对高维协变量具有稳健性，因其依赖于一维投影，避免了高维空间中的数据稀疏问题。
• 该检验统计量的极限原假设分布并非分布自由，因此需要采用基于残差的自助法来近似临界值。
• 该自助程序在理论上得到充分支持，并在一般正则性条件下被证明有效，确保了有限样本中对检验大小的良好控制。
• 模拟结果表明，即使协变量数量较大，该检验仍能保持良好的大小与功效，优于现有方法在高维设定下的表现。
• 两个实际数据分析案例验证了该检验在复杂回归模型中检测异方差性的实际应用价值。