[论文解读] Two Sample Testing in High Dimension via Maximum Mean Discrepancy

Hanjia Gao, Xiaofeng Shao|arXiv (Cornell University)|Sep 30, 2021

Statistical Methods and Inference参考文献 43被引用 8

一句话总结

该论文提出了一种在高维设置下使用最大均值差异（MMD）进行两样本检验的标准化检验统计量，建立了当维度 $p$ 和样本量 $n, m$ 同时发散时的中心极限定理。该方法在维度增加时实现了更优的正态近似精度，适用于高斯核和拉普拉斯核等常见核函数，并在中等高维区域提供了检验功效的理论保证。

ABSTRACT

Maximum Mean Discrepancy (MMD) has been widely used in the areas of machine learning and statistics to quantify the distance between two distributions in the $p$-dimensional Euclidean space. The asymptotic property of the sample MMD has been well studied when the dimension $p$ is fixed using the theory of U-statistic. As motivated by the frequent use of MMD test for data of moderate/high dimension, we propose to investigate the behavior of the sample MMD in a high-dimensional environment and develop a new studentized test statistic. Specifically, we obtain the central limit theorems for the studentized sample MMD as both the dimension $p$ and sample sizes $n,m$ diverge to infinity. Our results hold for a wide range of kernels, including popular Gaussian and Laplacian kernels, and also cover energy distance as a special case. We also derive the explicit rate of convergence under mild assumptions and our results suggest that the accuracy of normal approximation can improve with dimensionality. Additionally, we provide a general theory on the power analysis under the alternative hypothesis and show that our proposed test can detect difference between two distributions in the moderately high dimensional regime. Numerical simulations demonstrate the effectiveness of our proposed test statistic and normal approximation.

研究动机与目标

• 为解决当维度 $p$ 随样本量增长时，基于MMD的两样本检验缺乏理论理解的问题。
• 开发一种在高维渐近下保持有效性的稳健标准化检验统计量。
• 在 $p$、$n$ 和 $m$ 同时发散的条件下，为标准化MMD建立中心极限定理。
• 为在中等高维设置下检测分布差异提供一个通用的功效分析框架。
• 通过数值模拟验证该方法，展示其准确性和有效性。

提出的方法

• 提出样本MMD的标准化版本，以在高维渐近下稳定方差。
• 在核函数的一般条件下（包括高斯核和拉普拉斯核）推导标准化MMD的中心极限定理。
• 建立正态近似的收敛速率，表明其在维度增加时改善。
• 应用U统计量理论，分析在 $p$、$n$ 和 $m$ 联合发散下MMD的渐近行为。
• 在备择假设下引入一个通用的功效分析框架，考虑高维分布差异。
• 通过在各种高维配置和核选择下的模拟验证该方法。

实验结果

研究问题

• RQ1 当维度 $p$ 和样本量 $n, m$ 同时趋于无穷时，MMD的抽样分布如何表现？
• RQ2 MMD的标准化检验统计量是否能在高维渐近下实现有效的推断？
• RQ3 随着维度增加，标准化MMD的正态近似精度是否会提高？
• RQ4 在中等高维设置下，该检验的理论功效如何，以检测分布差异？
• RQ5 在所提出的框架下，不同核函数（如高斯核、拉普拉斯核和能量距离）的表现如何？

主要发现

• 在 $p$、$n$ 和 $m$ 联合发散的条件下，标准化MMD的中心极限定理成立，确保了渐近正态性。
• 在弱正则性条件下，正态近似的收敛速率随维度增加而改善。
• 即使当 $p$ 随 $n$ 和 $m$ 增长时，该检验仍能保持较高的功效以检测分布差异。
• 该方法适用于广泛的核函数类别，包括高斯核、拉普拉斯核，以及能量距离作为特例。
• 数值模拟结果证实了正态近似的准确性以及该检验统计量在高维设置下的有效性。
• 理论功效分析表明，该检验可在中等高维区域检测到细微的分布差异。