[论文解读] Two-sample Testing for Large, Sparse High-Dimensional Multinomials under Rare/Weak Perturbations

David L. Donoho, Alon Kipnis|arXiv (Cornell University)|Jul 3, 2020

Statistical Methods and Inference参考文献 22被引用 4

一句话总结

本文提出了一种基于高阶批评（Higher Criticism）的检验方法，用于在稀疏、高维的多项分布中，针对罕见/微弱扰动下的两样本齐性检验。通过组合 N 个类别中来自精确二项检验的 P 值，该方法识别出在 (β,r)-平面上的相变现象，此时检验在渐近意义上达到最大统计功效，其性能与密集设定下的正态均值模型相当。

ABSTRACT

Given two samples from possibly different discrete distributions over a common set of size $N$, consider the problem of testing whether these distributions are identical, vs. the following rare/weak perturbation alternative: the frequencies of $N^{1-\beta}$ elements are perturbed by $r(\log N)/2n$ in the Hellinger distance, where $n$ is the size of each sample. We adapt the Higher Criticism (HC) test to this setting using P-values obtained from $N$ exact binomial tests. We characterize the asymptotic performance of the HC-based test in terms of the sparsity parameter $\beta$ and the perturbation intensity parameter $r$. Specifically, we derive a region in the $(\beta,r)$-plane where the test asymptotically has maximal power, while having asymptotically no power outside this region. Our analysis distinguishes between the cases of dense ($N\gg n$) and sparse ($N\ll n$) contingency tables. In the dense case, the phase transition curve matches that of an analogous two-sample normal means model.

研究动机与目标

• 解决高维离散分布中的两样本齐性检验问题，其中仅少数类别受到扰动。
• 将扰动建模为稀少的（N^{1−β} 个元素）和微弱的（Hellinger 距离为 r(log N)/(2n)），以反映真实的稀疏信号场景。
• 通过每个类别上精确二项检验的 P 值，将高阶批评检验适配至该多项分布设定。
• 以稀疏参数 β 和扰动强度 r 表征渐近检测边界。
• 在稠密（N ≫ n）与稀疏（N ≪ n）列联表设定之间比较性能差异。

提出的方法

• 该方法在两个样本大小均为 n 的零假设下，对 N 个类别分别计算精确二项分布的 P 值。
• 利用高阶批评（HC）统计量对这些 P 值进行聚合，以检测其与均匀零分布的偏离。
• 检验统计量基于仅 N^{1−β} 个类别被扰动，且 Hellinger 距离扰动大小为 r(log N)/(2n) 的假设推导得出。
• 在 N → ∞ 的极限下进行渐近功效分析，同时 n 也相应增长，区分稠密（N ≫ n）与稀疏（N ≪ n）情形。
• 通过分析备择假设下 HC 检验统计量的行为，推导出相变曲线，识别出可检测与不可检测扰动之间的边界。
• 分析利用极值理论和 P 值的尾部行为，以刻画检测极限。

实验结果

研究问题

• RQ1 在 (β,r)-平面上的哪个区域，高阶批评检验对高维多项分布中的罕见/微弱扰动具有渐近功效？
• RQ2 在此设定下，HC 基检验在稠密与稀疏列联表中的表现有何差异？
• RQ3 在稠密情形下，多项分布两样本检验的检测边界是否与对应的两样本正态均值模型一致？
• RQ4 精确二项 P 值在弱且稀疏备择假设下如何实现检测能力？
• RQ5 稀疏参数 β 如何影响高维离散数据中扰动的可检测性？

主要发现

• HC 基检验在 (β,r)-平面上的特定区域内实现渐近最大功效，该区域由相变曲线界定。
• 在此区域之外，检验渐近无功效，表明存在一个清晰的检测边界。
• 在稠密情形（N ≫ n）下，多项分布检验的相变曲线与两样本正态均值模型一致。
• 该方法在稀疏情形（N ≪ n）下依然有效，但检测边界与稠密情形不同。
• 使用精确二项 P 值使检验能够探测到标准卡方检验可能遗漏的微弱、稀疏扰动。
• 分析结果证实，高阶批评方法在此类高维、稀疏、罕见/微弱设定下具有最优性。