[论文解读] Multiple-Splitting Projection Test for High-Dimensional Mean Vectors

Wanjun Liu, Xiufan Yu+1 more|arXiv (Cornell University)|Oct 29, 2021

Sparse and Compressive Sensing Techniques参考文献 27被引用 10

一句话总结

本文提出了一种用于高维单样本均值向量检验的多分裂投影检验（MPT），通过一致的正则化二次优化估计最优投影方向，并利用多个数据分裂产生的可交换p值来提升检验效能，同时保持第一类错误率的控制。该方法在弱信号条件下显著优于现有检验方法。

ABSTRACT

We propose a multiple-splitting projection test (MPT) for one-sample mean vectors in high-dimensional settings. The idea of projection test is to project high-dimensional samples to a 1-dimensional space using an optimal projection direction such that traditional tests can be carried out with projected samples. However, estimation of the optimal projection direction has not been systematically studied in the literature. In this work, we bridge the gap by proposing a consistent estimation via regularized quadratic optimization. To retain type I error rate, we adopt a data-splitting strategy when constructing test statistics. To mitigate the power loss due to data-splitting, we further propose a test via multiple splits to enhance the testing power. We show that the $p$-values resulted from multiple splits are exchangeable. Unlike existing methods which tend to conservatively combine dependent $p$-values, we develop an exact level $α$ test that explicitly utilizes the exchangeability structure to achieve better power. Numerical studies show that the proposed test well retains the type I error rate and is more powerful than state-of-the-art tests.

研究动机与目标

• 解决高维均值检验中最优投影方向估计不一致的问题。
• 缓解投影检验中单次数据分裂导致的效能损失问题。
• 开发一种显式利用多分裂p值可交换性的方法，以提升检验效能。
• 提供一个理论基础坚实的、显著性水平为α的精确检验，且在高维渐近条件下保持第一类错误率。

提出的方法

• 通过非凸正则化二次规划估计最优投影方向，确保任意驻点的统计一致性及非渐近误差界。
• 采用多数据分裂策略，反复将样本划分为估计集与检验集，以生成多个p值。
• 在原假设下，证明所得p值具有可交换性，从而支持一种尊重该依赖结构的新型组合方法。
• 通过利用p值的可交换性，开发出一种显著性水平为α的精确检验，避免了以往研究中采用的保守组合方法。
• 通过将投影方向调整为 $\boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_1 - \boldsymbol{\mu}_2)$，将该方法扩展至两样本情形。
• 通过可交换性框架，建立了第一类错误率控制与效能提升的理论保证。

实验结果

研究问题

• RQ1 能否在高维设置下，通过正则化优化构造出最优投影方向的一致估计？
• RQ2 如何有效缓解投影检验中因单次数据分裂导致的效能损失？
• RQ3 在原假设下，多个数据分裂产生的p值是否具有可交换性？该结构能否用于改进推断？
• RQ4 能否开发出一种显著性水平为α的精确检验，显式利用可交换p值以超越现有组合方法？

主要发现

• 所提出的MPT在所有模拟设置和真实数据实例中均保持了准确的第一类错误率。
• MPT在统计效能上显著优于现有最先进方法，尤其在信号强度较弱时（例如 δ = 0.18），其为唯一能拒绝原假设的检验方法。
• 当信号强度降低至 δ = 0.18 时，MPT 仍能在 α = 0.05 水平下拒绝原假设，而 Median、Average 和 Z-average 等检验方法则失败。
• 在 δ = 0.18 时，仅 Cauchy 组合检验与 MPT 拒绝原假设，表明其对弱信号具有更优的敏感性。
• 理论分析证实，多分裂产生的p值具有可交换性，且所提出的组合方法通过利用该结构实现了精确的显著性水平α控制。
• 为正则化二次优化估计量建立了非渐近误差界，确保了统计一致性，且无需全局最优性假设。