[论文解读] Testing Hypotheses by Regularized Maximum Mean Discrepancy

Somayeh Danafar, Paola M. V. Rancoita+3 more|arXiv (Cornell University)|May 2, 2013

Gaussian Processes and Bayesian Inference参考文献 24被引用 9

一句话总结

本文提出正则化最大均值差异（RMMD），一种基于核的假设检验方法，通过引入一个可证明最优的正则化项来改进MMD，从而提升统计功效，尤其在小样本量和多重比较场景下表现更优。RMMD在EEG、MNIST、Covertype和Flare-Solar数据集上的验证表明，其功效高于MMD和核费雪判别分析（KFDA），同时对第一类错误和错误发现率的控制更优。

ABSTRACT

Do two data samples come from different distributions? Recent studies of this fundamental problem focused on embedding probability distributions into sufficiently rich characteristic Reproducing Kernel Hilbert Spaces (RKHSs), to compare distributions by the distance between their embeddings. We show that Regularized Maximum Mean Discrepancy (RMMD), our novel measure for kernel-based hypothesis testing, yields substantial improvements even when sample sizes are small, and excels at hypothesis tests involving multiple comparisons with power control. We derive asymptotic distributions under the null and alternative hypotheses, and assess power control. Outstanding results are obtained on: challenging EEG data, MNIST, the Berkley Covertype, and the Flare-Solar dataset.

研究动机与目标

• 解决小样本量下两样本假设检验统计功效较低的挑战。
• 通过引入正则化改进最大均值差异（MMD），以控制检验功效并减少多重比较中的第一类错误。
• 在高维、高噪声数据条件下（如EEG记录）实现对分布真实差异的可靠检测。
• 提供一种理论基础坚实、无需用户调参的核基假设检验功效控制方法。
• 在多重比较任务中实现受控的族错误率和低错误发现率，展现优越性能。

提出的方法

• 通过在MMD统计量中添加正则化项，定义最大均值差异的正则化版本（RMMD），并解析优化该正则化项以实现最大检验功效。
• 采用高斯核，并将带宽选择为数据点之间距离的中位数，以确保再生核Hilbert空间（RKHS）嵌入的鲁棒性。
• 推导RMMD在原假设和备择假设下的渐近分布，以实现准确的p值估计。
• 在一对一和成对比较框架中应用RMMD，以检验多个组之间的分布差异。
• 通过渐近相对效率（ARE）分析和错误发现率（FDR）评估实现功效控制，以评估多重检验场景下的稳健性。
• 在真实和合成数据集上，通过重复实验和统计功效指标，将RMMD与MMD和KFDA进行比较。

实验结果

研究问题

• RQ1 正则化是否能提升MMD在小样本假设检验场景下的统计功效？
• RQ2 在控制族错误率的多重比较场景下，RMMD相较于MMD和KFDA的表现如何？
• RQ3 在高噪声、高维数据（如EEG）中检测真实信号差异时，RMMD是否能保持低错误发现率（FDR）？
• RQ4 RMMD是否能在原假设和备择假设下均实现一致的功效收敛，并具备理论保证？
• RQ5 与标准MMD相比，RMMD在识别EEG数据中与生物相关的大脑信号模式方面是否更有效？

主要发现

• RMMD在小样本量下显著优于MMD和KFDA，尤其在人工周期性和高斯数据上表现突出。
• 在MNIST数据集上，RMMD的统计功效高于MMD和KFDA，族错误率为α=0.05，单次比较阈值为ᾱ=0.0011。
• 在Covertype数据集上，RMMD在族错误率α=0.05、单次比较阈值ᾱ=0.0024下优于MMD和KFDA。
• 在Flare-Solar数据集上，RMMD在族错误率α=0.05、单次比较阈值ᾱ=0.05下保持了高统计功效。
• 在EEG数据分析中，RMMD的错误发现率更低（FDR₀=0.12，FDR₁=0.18，FDR₂=0.25），表明其对视觉皮层相关电极的检测更稳健、更准确。
• 在一对一RMMD检验中，64个电极中有63个正确拒绝了原假设，证实了视觉皮层与非视觉皮层电极之间存在显著的分布差异。