[论文解读] Testing to distinguish measures on metric spaces

Andrew J. Blumberg, Prithwish Bhaumik+1 more|arXiv (Cornell University)|Feb 4, 2018

Topological and Geometric Data Analysis参考文献 15被引用 4

一句话总结

本文提出了一种非参数的两样本假设检验方法，通过配对距离和Gromov的mm重构定理来区分度量空间上的测度。通过将Kolmogorov–Smirnov检验应用于每个样本中最小行和点的距empirical分布，该方法能高效检测底层测度的差异，在真实流感数据和合成示例中表现出优于能量检验的速度和统计功效。

ABSTRACT

We study the problem of distinguishing between two distributions on a metric space; i.e., given metric measure spaces $({\mathbb X}, d, μ_1)$ and $({\mathbb X}, d, μ_2)$, we are interested in the problem of determining from finite data whether or not $μ_1$ is $μ_2$. The key is to use pairwise distances between observations and, employing a reconstruction theorem of Gromov, we can perform such a test using a two sample Kolmogorov--Smirnov test. A real analysis using phylogenetic trees and flu data is presented.

研究动机与目标

• 为解决数据来自非欧几里得度量空间（如系统发育树）上的概率测度时的两样本假设检验挑战提供方法。
• 开发一种避免参数假设的方法，利用内在几何结构而非嵌入到欧几里得空间。
• 提供一种计算高效的能量检验替代方案，后者需要耗时的置换法临界值计算。
• 在真实世界数据（特别是不同季节的流感系统发育树）上验证该方法，以评估其在生物学推断中的实用性。
• 证明该检验在测度仅在尺度或位置上不同时仍保持高统计功效，并对Fréchet均值不存在的情况具有鲁棒性。

提出的方法

• 利用Gromov的mm重构定理，该定理通过成对距离的分布来刻画度量测度空间（至等距同构）。
• 对每个样本，计算距离矩阵 $ M_{ij} = d(x_i, x_j) $，然后识别行和最小的点 $ x_{i_X} $，该点作为Fréchet均值的代理。
• 构建距离 $ d(x_{i_X}, x_i) $（$ i \neq i_X $）的经empirical分布函数，类似地处理第二个样本。
• 将两样本Kolmogorov–Smirnov检验应用于这两个empirical分布函数，以评估底层测度是否相等。
• 利用如下事实：若从最小行和点出发的距离分布相同，则底层测度在等距同构意义下相等。
• 采用快速算法计算系统发育树上的BHV度量距离，以实现在真实生物数据上的可扩展性。

实验结果

研究问题

• RQ1 我们能否仅使用有限样本和成对距离来区分一般度量空间上的两个概率测度？
• RQ2 如何构建一种非参数两样本检验方法，避免参数建模并具备计算高效性？
• RQ3 当底层测度仅在尺度或位置上不同时，所提出检验是否仍保持高统计功效？
• RQ4 该方法能否有效应用于非欧几里得空间（如系统发育树空间）？
• RQ5 对于大规模数据集，该检验在功效和速度上与两样本能量检验相比如何？

主要发现

• 在比较1996年和2007年流感数据时，所提检验在95%显著性水平下成功拒绝了原假设，表明底层测度存在显著差异。
• 与需要计算密集型置换法临界值估计的能量检验相比，该检验在计算效率上表现更优。
• 在1996年流感季节的拆分数据上应用时，检验未能拒绝原假设，证实了单个赛季内的一致性和分布稳定性。
• 该方法在检测样本间尺度差异方面表现出高功效，优于能量检验在此类场景下的表现。
• 使用最小行和点作为Fréchet均值的代理，使得即使真实均值不存在，也能实现稳健检验。
• 从最小行和点出发的距离分布函数被发现具有规则性和良好行为特征，支持了Kolmogorov–Smirnov检验应用的有效性。