[论文解读] Remember the Curse of Dimensionality: The Case of Goodness-of-Fit Testing in Arbitrary Dimension

Ery Arias-Castro, Bruno Pelletier+1 more|arXiv (Cornell University)|Jul 27, 2016

Statistical Methods and Inference参考文献 29被引用 20

一句话总结

本文在任意维度下建立了基于 $L^2$ 范数的两样本拟合优度检验的极小极大速率，揭示了典型的维度灾难。研究证明，采用最优分箱的卡方检验可达到该极小极大速率，并可通过多尺度扩展自适应未知光滑度和内在维度。

ABSTRACT

Despite a substantial literature on nonparametric two-sample goodness-of-fit testing in arbitrary dimensions spanning decades, there is no mention there of any curse of dimensionality. Only more recently Ramdas et al. (2015) have discussed this issue in the context of kernel methods by showing that their performance degrades with the dimension even when the underlying distributions are isotropic Gaussians. We take a minimax perspective and follow in the footsteps of Ingster (1987) to derive the minimax rate in arbitrary dimension when the discrepancy is measured in the L2 metric. That rate is revealed to be nonparametric and exhibit a prototypical curse of dimensionality. We further extend Ingster's work to show that the chi-squared test achieves the minimax rate. Moreover, we show that the test can be made to work when the distributions have support of low intrinsic dimension. Finally, inspired by Ingster (2000), we consider a multiscale version of the chi-square test which can adapt to unknown smoothness and/or unknown intrinsic dimensionality without much loss in power.

研究动机与目标

• 确定任意维度下非参数两样本拟合优度检验的基本统计极限。
• 解决文献中关于高维检验中不存在维度灾难的混淆。
• 将英格斯特的极小极大理论从一维推广到任意维度下的霍尔德光滑密度。
• 证明卡方检验在 $L^2$ 偏差下可达到极小极大速率。
• 开发一种可自适应未知光滑度和内在维度的无参数多尺度卡方检验，且不会造成显著功效损失。

提出的方法

• 采用极小极大框架，推导单位超立方体上霍尔德类密度在 $L^2$ 距离下的最优检验速率。
• 通过非渐近分析推导极小极大风险的下界，表明该速率依赖于维度和光滑度。
• 构造一种分箱大小为 $1/\kappa$ 的卡方检验，其中 $\kappa \sim m^{2/(4s+d)}$，从而实现极小极大速率。
• 证明当支撑集具有较低内在维度时，卡方检验仍保持极小极大最优性。
• 提出一种卡方检验的多尺度版本，通过在多个分箱尺度上聚合结果，实现对未知光滑度和内在维度的自适应。
• 利用函数分析工具，包括核算子和多项式逼近，控制备择假设下检验统计量的 $L^2$ 范数。

实验结果

研究问题

• RQ1 在任意维度下，基于 $L^2$ 范数的两样本拟合优度检验的极小极大速率是什么？
• RQ2 在高维设置下，卡方检验是否能达到极小极大速率？
• RQ3 当底层密度具有较低内在维度时，卡方检验是否仍能保持最优性？
• RQ4 能否设计一种无参数检验，自适应未知光滑度和内在维度，且不会造成显著功效损失？
• RQ5 为何某些基于核的方法在高维下会失效，尽管其声称可实现参数速率？

主要发现

• 在 $d$ 维下，基于 $L^2$ 范数的两样本拟合优度检验的极小极大速率为 $m^{-2s/(4s+d)}$，表现出典型的维度灾难。
• 采用分箱大小 $\kappa \sim m^{2/(4s+d)}$ 的卡方检验可达到极小极大速率，证明其在非参数情形下的最优性。
• 当底层密度的支撑集具有较低内在维度时，只要适当调整分箱，卡方检验仍保持极小极大最优性。
• 所提出的多尺度卡方检验可自适应未知光滑度 $s$ 和未知内在维度，且功效损失可忽略，实现近乎极小极大性能。
• 分析结果确认，在非参数两样本检验问题中，即使对于各向同性高斯分布，也难以实现参数速率，从而解决了文献中长期存在的混淆。
• 证明依赖于多项式逼近和核算子界的新颖应用，以控制备择假设下检验统计量的 $L^2$ 范数。