[论文解读] Two-sample Test using Projected Wasserstein Distance: Breaking the Curse of Dimensionality.

Jie Wang, Rui Gao+1 more|arXiv (Cornell University)|Oct 22, 2020

Anomaly Detection Techniques and Applications参考文献 41被引用 4

一句话总结

本文提出一种投影Wasserstein距离，通过优化能最大化投影分布之间Wasserstein距离的低维线性投影，以克服两样本检验中的维度灾难。该方法在高维下实现了改进的有限样本收敛速率并保持了检验效能，同时提供了理论保证和实用算法。

ABSTRACT

We develop a projected Wasserstein distance for the two-sample test, a fundamental problem in statistics and machine learning: given two sets of samples, to determine whether they are from the same distribution. In particular, we aim to circumvent the curse of dimensionality in Wasserstein distance: when the dimension is high, it has diminishing testing power, which is inherently due to the slow concentration property of Wasserstein metrics in the high dimension space. A key contribution is to couple optimal projection to find the low dimensional linear mapping to maximize the Wasserstein distance between projected probability distributions. We characterize the theoretical property of the finite-sample convergence rate on IPMs and present practical algorithms for computing this metric. Numerical examples validate our theoretical results.

研究动机与目标

• 解决基于Wasserstein距离的两样本检验中维度增加导致性能下降的维度灾难问题。
• 提出一种方法，在高维设置下通过将数据投影到低维子空间来保持统计效能。
• 优化投影方向，以最大化投影分布之间的Wasserstein距离。
• 在积分概率度量（IPMs）框架下，为所提出的度量建立理论上的有限样本收敛速率。
• 提供实际算法，用于在现实应用中计算投影Wasserstein距离。

提出的方法

• 通过在计算Wasserstein距离前对高维数据应用最优线性投影，引入一种投影Wasserstein距离。
• 将投影优化问题表述为在Grassmann流形上的最大化问题，以寻找能使投影经验测度间Wasserstein距离最大的方向。
• 利用积分概率度量（IPMs）理论，推导投影度量的有限样本收敛速率。
• 采用基于随机梯度的方法，以在实践中高效计算最优投影方向。
• 通过分析投影Wasserstein距离在温和正则性条件下的浓度性质，确保理论一致性。
• 将投影距离整合到两样本假设检验中，实现控制第一类错误并提升高维下的检验效能。

实验结果

研究问题

• RQ1 最优线性投影是否能提升高维两样本检验中Wasserstein距离的有限样本收敛速率？
• RQ2 在高维下，最大化投影Wasserstein距离是否相比标准Wasserstein距离能带来更好的检验效能？
• RQ3 在各种分布假设下，该方法在第一类错误控制和检验效能方面的表现如何？
• RQ4 作为IPM族的成员，投影Wasserstein距离的理论有限样本收敛速率是什么？
• RQ5 该方法在实践中是否能高效计算？其在维度和样本量增加时的可扩展性如何？

主要发现

• 在高维设置下，投影Wasserstein距离的有限样本收敛速率优于标准Wasserstein距离。
• 最优投影通过缓解两样本检验中的维度灾难，显著提升了检验效能。
• 在原假设下，该方法能保持有效的第一类错误控制，确保统计可靠性。
• 理论分析证实，投影度量属于IPM族，并继承了有利的浓度性质。
• 数值实验表明，该方法在各种高维分布下均一致优于基线Wasserstein距离。
• 所提出的算法通过使用随机优化高效计算最优投影方向，实现了对高维数据的可扩展性。