[论文解读] Unbiased estimators for the variance of MMD estimators

Danica J. Sutherland, Deka, Namrata|arXiv (Cornell University)|Jun 5, 2019

Statistical Methods and Inference参考文献 5被引用 4

一句话总结

本文提出了一种用于最大平均差异（MMD）估计量方差的无偏估计量，利用U-统计量理论纠正了先前存在偏差的方法。推导出计算高效的、真正无偏的方差估计量，适用于平方MMD以及两个相关平方MMD之差，且额外计算成本可忽略不计，仅与原始MMD计算复杂度相当。

ABSTRACT

The maximum mean discrepancy (MMD) is a kernel-based distance between probability distributions useful in many applications (Gretton et al. 2012), bearing a simple estimator with pleasing computational and statistical properties. Being able to efficiently estimate the variance of this estimator is very helpful to various problems in two-sample testing. Towards this end, Bounliphone et al. (2016) used the theory of U-statistics to derive estimators for the variance of an MMD estimator, and differences between two such estimators. Their estimator, however, drops lower-order terms, and is unnecessarily biased. We show in this note - extending and correcting work of Sutherland et al. (2017) - that we can find a truly unbiased estimator for the actual variance of both the squared MMD estimator and the difference of two correlated squared MMD estimators, at essentially no additional computational cost.

研究动机与目标

• 为解决MMD估计量缺乏真正无偏方差估计量的问题，而这类估计量对于可靠的两样本检验至关重要。
• 纠正先前估计量中存在的偏差，这些估计量因舍弃低阶项而产生偏差，尤其在小样本情况下问题严重。
• 利用U-统计量理论扩展并修正[7]的早期工作，推导出以核矩阵表示的精确方差表达式。
• 提供无偏且计算高效的方差估计量，其时间复杂度与原始MMD估计量一致，为O(m²)。
• 阐明无偏性与实际性能之间的权衡，承认在某些情况下有偏估计量可能因更低的方差而在实践中表现更优。

提出的方法

• 利用U-统计量理论推导无偏MMD估计量的方差，将其表示为再生核Hilbert空间（RKHS）中内积的期望形式。
• 引入非中心化协方差算子，以紧凑的算子形式表达方差分量。
• 通过使用核矩阵将总体期望替换为经验估计，构建方差分量的无偏估计量。
• 推导出两个MMD之差的方差估计量的显式闭式表达式，适用于三分布比较场景。
• 采用对称核矩阵和向量化运算（如1-范数、Frobenius范数及矩阵-向量乘积），确保时间复杂度为O(m²)。
• 通过理论推导验证最终估计量的无偏性，确保其一致且无系统性误差。

实验结果

研究问题

• RQ1 我们能否推导出平方MMD估计量方差的真正无偏估计量，而无需舍弃低阶项？
• RQ2 如何将无偏方差估计扩展到两个相关平方MMD估计量之差的情形，以适用于三样本检验？
• RQ3 与现有有偏估计量相比，实现无偏方差估计的计算成本是多少？
• RQ4 在实际应用中，无偏方差估计量是否优于有偏替代方案，还是存在有限样本性能上的权衡？
• RQ5 该理论框架能否推广到样本量m和n不相等的情形？

主要发现

• 本文推导出平方MMD估计量方差的完全无偏估计量，纠正了早期因舍弃低阶项而产生的有偏近似。
• 所提出的两个MMD之差的估计量是无偏的，且可在O(m²)时间内计算，与原始MMD估计量的时间复杂度一致。
• 最终的方差估计量（公式6）完全以核矩阵及其运算（如Frobenius范数、矩阵乘积的1-范数、迹类项等）表示。
• 尽管估计量是无偏的，但本文承认在实际应用中，更简单的有偏估计量（如[4]中的方法）可能因方差更低而表现更优，实验结果[2]已证实这一点。
• 该方法可推广至m与n不相等的样本情形，优于先前假设样本对称或相等的工作。
• 推导结果证实，无偏估计量避免了因省略低阶项而引入的偏差，此类偏差在小样本中可能显著影响准确性。