[论文解读] Numerically more stable computation of the p-values for the two-sample Kolmogorov-Smirnov test

Thomas Viehmann|arXiv (Cornell University)|Feb 16, 2021

Statistical Mechanics and Entropy参考文献 1被引用 4

一句话总结

本文提出了一种在双样本柯尔莫哥洛夫-斯米尔诺夫检验中计算精确p值的数值稳定方法，通过将标准递推关系改写为互补概率 $ C_{i,j} $ 的形式，避免了浮点数运算中的灾难性抵消。新递推关系将 $ C_{i,j} $ 计算为相邻值的加权平均，确保误差传播稳定，从而在大样本量下仍能实现精确的p值估计。

ABSTRACT

The two-sample Kolmogorov-Smirnov test is a widely used statistical test for detecting whether two samples are likely to come from the same distribution. Implementations typically recur on an article of Hodges from 1957. The advances in computation speed make it feasible to compute exact p-values for a much larger range of problem sizes, but these run into numerical stability problems from floating point operations. We provide a simple transformation of the defining recurrence for the two-side two-sample KS test that avoids this.

研究动机与目标

• 解决现有双样本柯尔莫哥洛夫-斯米尔诺夫检验p值计算实现中因浮点数运算导致的数值不稳定性问题。
• 实现比以往更稳定、数值行为更可靠的精确p值计算，适用于更大样本量。
• 用更稳健的替代方法取代标准路径计数递推关系（即计算 $ 1 - P_2 $）以避免下溢或上溢。
• 提供一种稳定、数值可靠的p值计算算法，避免浮点运算中的抵消误差。

提出的方法

• 本文提出了一种新的 $ C_{i,j} $ 递推关系，定义为 $ 1 - A_{i,j}/\binom{i+j}{i} $，表示离开 $ d $-走廊的路径比例。
• 在走廊内部使用递推关系 $ C_{i,j} = C_{i-1,j} \frac{i}{i+j} + C_{i,j-1} \frac{j}{i+j} $，确保 $ C_{i,j} $ 始终为邻近值的凸组合。
• 边界条件设定为：若 $ |i/m - j/n| \geq d $，则 $ C_{i,j} = 1 $；若 $ i=0 $ 或 $ j=0 $ 且位于走廊内，则 $ C_{i,j} = 0 $。
• 算法沿对角线迭代，仅在走廊内跟踪当前行和前一行，以减少内存使用。
• 实现采用动态规划方法，结合对角线上的滑动窗口，实现高效的内存与计算利用。
• 该方法在 Python、Numba 和 C++ 中实现，并与 SciPy 的路径计数方法进行了性能比较。

实验结果

研究问题

• RQ1 能否为双样本柯尔莫哥洛夫-斯米尔诺夫检验中的精确p值计算，开发出一种数值稳定的替代标准路径计数递推关系？
• RQ2 将 $ 1 - P_2 $ 的计算替换为互补概率 $ C_{i,j} $，是否能提升浮点数运算中的数值稳定性？
• RQ3 新递推关系在多大程度上可防止抵消误差，并在大样本量下保持精度？
• RQ4 与现有实现（如 SciPy）相比，新方法的性能如何？

主要发现

• 所提出的 $ C_{i,j} $ 递推关系避免了计算 $ 1 - P_2 $ 带来的数值不稳定性，后者在浮点数运算中可能导致下溢或上溢。
• 新方法确保 $ C_{i,j} $ 为邻近值的加权平均，促进有利的误差传播，防止灾难性抵消。
• 该算法在大样本量下仍能保持高精度，而传统方法因浮点数精度限制而失效。
• 在朴素实现下，该方法的运行速度约为 SciPy 优化路径计数方法的四分之一，但具有更优的数值稳定性。
• 通过仅跟踪对角线上的滑动窗口值，该方法实现了高效的内存使用，显著降低了存储需求。
• 该方法具有可扩展性，未来可拓展至外部方法，但此方向仍为开放性工作。