[论文解读] The Calibrated Kolmogorov-Smirnov Test

Amit Moscovich-Eiger, Boaz Nadler+1 more|arXiv (Cornell University)|Nov 13, 2013

Bayesian Methods and Mixture Models被引用 9

一句话总结

本文提出了校准柯尔莫哥洛夫-斯米尔诺夫（Calibrated Kolmogorov-Smirnov, CKS）检验，这是一种对尾部分布敏感的拟合优度统计量，能够识别经验分布与假设分布之间最具有统计显著性的偏离，从而在标准KS检验失效的尾部分布中提升检验功效。该方法在稀疏-微弱混合模型下建立了渐近最优性，并提供了一种高效算法，用于计算单侧拟合优度检验的p值，包括CKS、高阶临界值（Higher Criticism）和Berk-Jones检验。

ABSTRACT

Continuous goodness-of-fit (GOF) is a classical hypothesis testing problem in statistics. Despite numerous suggestions, the Kolmogorov-Smirnov (KS) test is, by far, the most popular GOF test used in practice. Unfortunately, it lacks power at the tails, which is important in many practical applications. In this paper we study the tail-sensitive Calibrated KS (CKS) test statistic, which is intimately related to the works of Berk and Jones and to the Higher Criticism statistic. In contrast to KS, which considers the largest deviation between the empirical and assumed distributions, CKS looks for the deviation which is most statistically significant. We make two main contributions. First, we study some statistical properties of CKS, in particular proving its asymptotic optimality for a wide range of rare-weak mixture models. Second, we derive a novel computationally efficient method to calculate $p$-values for a broad family of one-sided GOF tests, including the one-sided version of CKS, as well as the Higher Criticism and the Berk-Jones tests. We conclude with some simulation results comparing the power of CKS to several other tests.

研究动机与目标

• 解决经典柯尔莫哥洛夫-斯米尔诺夫检验在分布尾部功效有限的问题，这是实际应用中的关键挑战。
• 提出一种新的检验统计量CKS，通过聚焦于最具有统计显著性的偏离，增强对尾部分布偏离的敏感性。
• 在一大类稀疏-微弱混合模型下建立CKS的理论最优性。
• 为单侧拟合优度检验提供一种计算高效的p值计算方法，包括CKS、高阶临界值和Berk-Jones检验。
• 通过模拟研究比较CKS与现有检验的统计功效，证明其在尾部分布检测中的优势。

提出的方法

• 将CKS检验统计量定义为在原假设下经验过程的最大标准正态z分数，作为KS检验的校准版本。
• 采用一种校准程序，将经验分布函数转化为z分数过程，从而实现对具有最大统计显著性的偏离的检测。
• 基于动态规划和极值理论，推导出一种高效算法，用于计算单侧拟合优度检验的p值，包括CKS，显著降低计算成本。
• 通过将高阶临界值和Berk-Jones统计量嵌入统一的单侧检验框架中，揭示其与CKS的内在联系。
• 运用渐近理论证明，CKS在稀疏-微弱混合模型中实现最优检测功效，其中信号既稀疏又微弱。
• 通过模拟研究验证p值计算方法的准确性，并在各种备择假设下比较CKS与KS检验、高阶临界值和Berk-Jones检验的统计功效。

实验结果

研究问题

• RQ1 柯尔莫哥洛夫-斯米尔诺夫检验的改进版本是否能在检测分布尾部偏离时实现更高的检验功效？
• RQ2 CKS检验在检测稀疏-微弱混合模型时是否具有渐近最优性，即当信号既不频繁又微弱时？
• RQ3 能否为一大类单侧拟合优度检验开发一种高效且准确的p值计算方法？
• RQ4 在有限样本设置下，CKS的统计功效与经典KS检验、高阶临界值和Berk-Jones检验相比如何？
• RQ5 CKS在检测最具有统计显著性的偏离（而非最大幅度的偏离）时，其理论与实证表现如何？

主要发现

• CKS检验在一大类稀疏-微弱混合模型下实现渐近最优性，意味着在这些条件下，它能以最高可能的检验功效检测到信号。
• 所提出的p值计算方法计算高效且准确，使得包括CKS、高阶临界值和Berk-Jones检验在内的单侧拟合优度检验能够实现实际应用。
• 模拟结果表明，CKS在检测尾部分布偏离方面始终优于经典KS检验，尤其在信号稀疏且微弱时表现更优。
• 在某些稀疏信号设定下，CKS的检验功效高于高阶临界值和Berk-Jones检验，特别是在信号强度适中且集中于尾部时。
• CKS中的校准程序能有效将经验过程转化为标准正态框架，从而更有效地检测具有高统计显著性的偏离。
• 理论框架将CKS、高阶临界值和Berk-Jones检验统一于同一单侧检验范式下，揭示了其共享的底层结构，并实现了p值计算的一致性。