[论文解读] Two-sample Test with Kernel Projected Wasserstein Distance

Jie Wang, Rui Gao+1 more|arXiv (Cornell University)|Feb 12, 2021

Anomaly Detection Techniques and Applications参考文献 60被引用 5

一句话总结

本文提出了一种核投影Wasserstein（KPW）距离，用于高维两样本检验，通过再生核希尔伯特空间（RKHS）中的非线性投影来最大化分布差异。该方法比线性投影更有效地避免了维度灾难，具有计算高效的算法和非渐近不确定性量化，已在合成数据和真实世界数据（包括人体活动检测）上表现出优越性能。

ABSTRACT

We develop a kernel projected Wasserstein distance for the two-sample test, an essential building block in statistics and machine learning: given two sets of samples, to determine whether they are from the same distribution. This method operates by finding the nonlinear mapping in the data space which maximizes the distance between projected distributions. In contrast to existing works about projected Wasserstein distance, the proposed method circumvents the curse of dimensionality more efficiently. We present practical algorithms for computing this distance function together with the non-asymptotic uncertainty quantification of empirical estimates. Numerical examples validate our theoretical results and demonstrate good performance of the proposed method.

研究动机与目标

• 解决高维数据中传统方法因维度灾难而失效的两样本检验挑战。
• 开发一种非参数检验方法，以在捕捉复杂非线性数据结构方面优于基于线性投影的方法。
• 提供计算高效的算法，并为经验估计提供不确定性量化的理论保证。
• 在合成数据和真实世界数据集（包括人体活动检测和变化点检测）上验证该方法。

提出的方法

• 该方法基于再生核希尔伯特空间（RKHS）中的非线性投影器，将数据映射到低维空间，以最大化分布差异。
• 利用表示定理将核投影Wasserstein距离公式化为有限维优化问题。
• 采用块坐标下降算法寻找ϵ-稳定点，时间复杂度为O(ϵ⁻³)。
• 通过覆盖数论证推导经验KPW距离的非渐近界，以量化不确定性并设定检测阈值。
• 核技巧使得计算高效，无需显式参数化函数空间。
• 通过预训练非线性投影器并将分布比较扩展至滑动窗口，将方法推广至在线变化点检测。

实验结果

研究问题

• RQ1 通过RKHS中的非线性投影，是否能在高维设置下提升两样本检验的功效，相比线性投影？
• RQ2 所提出的核投影Wasserstein距离是否比现有非参数检验更有效地避免维度灾难？
• RQ3 投影维数d的选择如何影响检验性能和样本复杂度？
• RQ4 熵正则化对KPW检验的性能和鲁棒性有何影响？
• RQ5 通过非渐近不确定性量化，该方法能否实现可靠的误报率控制？

主要发现

• KPW检验在检验功效上优于线性投影方法，尤其在数据呈现非线性模式时表现更优。
• 该方法在不同投影维数d > 1下均保持强性能，结果表明只要d > 1，性能对d不敏感。
• 当η = 0（精确Wasserstein）时，KPW检验与正则化版本性能相当，表明性能提升主要源于核投影，而非熵正则化。
• Sinkhorn+检验仍受维度灾难影响，而KPW因非线性核投影的引入避免了该问题。
• 在人体活动检测中，KPW检验能以低延迟成功识别变化点，优于基线方法。
• 推导并验证了经验KPW距离的非渐近界，实现了可靠的阈值设定，支持误报率控制。