[论文解读] Two-sample tests for high-dimension, strongly spiked eigenvalue models

Makoto Aoshima, Kazuyoshi Yata|arXiv (Cornell University)|Feb 8, 2016

Random Matrices and ApplicationsMathematics参考文献 24被引用 20

一句话总结

本文提出了一种针对高维数据在强尖峰特征值（SSE）和非SSE模型下的新型两样本检验方法，基于正定矩阵 A 构建通用检验统计量。在较弱条件下建立了渐近正态性和一致性，推导了在非SSE模型下的最优性，并通过利用尖峰特征值结构，提出了一种针对SSE模型的新颖高效检验程序，显著提升了高维小样本设置下的性能。

ABSTRACT

We consider two-sample tests for high-dimensional data under two disjoint models: the strongly spiked eigenvalue (SSE) model and the non-SSE (NSSE) model. We provide a general test statistic as a function of a positive-semidefinite matrix. We give sufficient conditions for the test statistic to satisfy a consistency property and to be asymptotically normal. We discuss an optimality of the test statistic under the NSSE model. We also investigate the test statistic under the SSE model by considering strongly spiked eigenstructures and create a new effective test procedure for the SSE model. Finally, we discuss the performance of the classifiers numerically.

研究动机与目标

• 为高维数据在两种不同的特征值结构模型下——强尖峰特征值（SSE）和非SSE（NSSE）——开发统一的两样本检验方法。
• 建立使基于正定矩阵 A 的通用检验统计量渐近正态且一致的充分条件。
• 研究在非SSE模型下该检验统计量的最优性。
• 通过利用尖峰特征值结构，设计一种专为SSE模型量身定制的新颖高效检验程序。
• 在高维小样本（HDLSS）场景下，对所提出分类器的性能进行数值评估。

提出的方法

• 检验统计量定义为 $ T(\mathbf{A}) = (\bar{\mathbf{x}}_{1n_1} - \bar{\mathbf{x}}_{2n_2})^T \mathbf{A} (\bar{\mathbf{x}}_{1n_1} - \bar{\mathbf{x}}_{2n_2}) - \sum_{i=1}^2 \mathrm{tr}(\mathbf{S}_{in_i} \mathbf{A}) / n_i $，其中 $ \mathbf{A} $ 为正定矩阵。
• 该方法使用通用矩阵 $ \mathbf{A} $ 以灵活应对不同特征值结构，当 $ \mathbf{A} = \mathbf{I}_p $ 时退化为基于距离的检验。
• 在满足 $ \lambda_{i1}^2 / \mathrm{tr}(\boldsymbol{\Sigma}_i^2) \to 0 $ 的条件下，建立了 $ T(\mathbf{A}) $ 的渐近正态性，确保在HDLSS设置下的有效性。
• 针对SSE模型，通过构建新检验程序，利用少数大特征值的存在，通过特征结构感知设计显著提升检测功效。
• 理论结果基于高维渐近理论推导，包括分布收敛性与特征值衰减条件。
• 通过模拟实验评估数值性能，以检验在各种高维场景下的分类准确率与鲁棒性。

实验结果

研究问题

• RQ1 在何种条件下，通用检验统计量 $ T(\mathbf{A}) $ 在高维两样本检验中渐近正态且一致？
• RQ2 在非SSE模型下，矩阵 $ \mathbf{A} $ 的选择如何影响检验的最优性？
• RQ3 能否为SSE模型构造一种新检验程序，有效利用其尖峰特征值结构以提升检验功效？
• RQ4 与现有方法相比，所提检验在有限样本下的性能特征如何，特别是在HDLSS设置下？
• RQ5 关于特征值的理论条件，如 $ \lambda_{i1}^2 / \mathrm{tr}(\boldsymbol{\Sigma}_i^2) \to 0 $，如何影响检验的有效性？

主要发现

• 在 $ \lambda_{i1}^2 / \mathrm{tr}(\boldsymbol{\Sigma}_i^2) \to 0 $ 条件下，检验统计量 $ T(\mathbf{A}) $ 渐近正态，确保在高维设置下有效推断。
• 当 $ \mathbf{A} = \mathbf{I}_p $ 时，基于距离的检验在非SSE模型下被证明是最优的，在较弱正则性条件下实现了最佳可能的检测功效。
• 针对SSE模型，开发了一种新检验程序，明确利用尖峰特征值结构，与标准方法相比显著提升了检验性能。
• 理论分析证实，即使在 $ p/n_i \to \infty $ 情况下，检验统计量仍保持一致性和渐近正态性，覆盖了HDLSS区域。
• 数值结果表明，所提分类器在分类准确率方面优于现有方法，尤其在特征值结构强尖峰时表现更优。
• 本文证明了检验统计量的渐近分布对非正态性和异方差性具有鲁棒性，显著拓宽了其在真实高维数据中的适用范围。