[论文解读] On the Optimality of Kernel-Embedding Based Goodness-of-Fit Tests

Krishnakumar Balasubramanian, Tong Li+1 more|arXiv (Cornell University)|Sep 24, 2017

Statistical Methods and Inference参考文献 29被引用 13

一句话总结

本文在极小化极大框架下研究了基于核嵌入的拟合优度检验的统计最优性。结果表明，标准的核嵌入检验可能表现次优，本文提出了一种调制核嵌入方法，在广泛的替代假设下实现了极小化极大最优性，并在插值空间上具有自适应性，具有理论保证和数值验证。

ABSTRACT

The reproducing kernel Hilbert space (RKHS) embedding of distributions offers a general and flexible framework for testing problems in arbitrary domains and has attracted considerable amount of attention in recent years. To gain insights into their operating characteristics, we study here the statistical performance of such approaches within a minimax framework. Focusing on the case of goodness-of-fit tests, our analyses show that a vanilla version of the kernel-embedding based test could be suboptimal, and suggest a simple remedy by moderating the embedding. We prove that the moderated approach provides optimal tests for a wide range of deviations from the null and can also be made adaptive over a large collection of interpolation spaces. Numerical experiments are presented to further demonstrate the merits of our approach.

研究动机与目标

• 使用极小化极大框架，在一般域中理解基于核嵌入的拟合优度检验的统计性能。
• 识别标准核嵌入检验的局限性，特别是其在某些替代假设下的次优性。
• 提出一种调制核嵌入方法，使其在广泛类别的替代假设下实现极小化极大最优性。
• 在不事先知道光滑性参数的情况下，建立所提方法在插值空间上的自适应性。
• 通过数值实验验证理论结果，展示其在功效和鲁棒性方面的改进。

提出的方法

• 作者分析了在复合替代假设下基于核嵌入检验的功效，重点关注通过 χ² 散度度量的偏差。
• 通过缩放核函数引入调制核嵌入，以提高统计效率并降低在局部替代假设下的检验方差。
• 该方法基于再生核希尔伯特空间（RKHS）理论，使用最大均值差异（MMD）作为检验统计量。
• 理论分析涉及在具有受控光滑性的函数空间中构造有限组替代假设，使用正交基函数和Radon-Nikodym导数，控制 χ² 距离。
• 证明策略依赖于对平均似然比的 L²(P₀) 范数进行有界，以验证检验区分替代假设与原假设的能力。
• 关键技术工具包括大数定律不等式，以及对基函数数量及其系数的精细控制，以平衡偏差与方差。

实验结果

研究问题

• RQ1 标准的基于核嵌入的拟合优度检验在不同类别的替代假设下是否具有极小化极大最优性？
• RQ2 在光滑性各异的局部替代假设下，原始核嵌入检验存在哪些统计局限性？
• RQ3 一个简单的改进——调制核嵌入——是否能在广泛的函数空间中实现极小化极大最优性？
• RQ4 所提出的调制检验是否能自适应未知的光滑性参数？
• RQ5 在有限样本模拟中，调制检验的功效与原始核嵌入检验相比如何？

主要发现

• 结果表明，对于某些类别的替代假设，原始核嵌入检验在极小化极大检测率方面表现次优。
• 所提出的调制核嵌入方法在以 χ² 散度度量的原假设偏离的广泛范围内实现了极小化极大最优性。
• 该方法在大量插值空间上具有自适应性，即在无需知道光滑性参数的情况下实现最优速率。
• 理论分析证实，基于调制嵌入的检验能够检测到与原假设渐近接近的替代假设，其检测边界与极小化极大下界一致。
• 数值实验表明，调制检验在各种替代假设下，其功效始终优于标准核嵌入检验。
• 证明表明，平均似然比的 L²(P₀) 范数收敛于 1，证实了在所提设计下，该检验能够有效区分替代假设与原假设。