[论文解读] Nonparametric Density Estimation under Besov IPM Losses.

Ananya Uppal, Shashank Singh+1 more|arXiv (Cornell University)|Feb 9, 2019

Statistical Methods and Inference被引用 5

一句话总结

本文建立了在一类称为Besov IPM的广义损失函数下的非参数密度估计的极小极大最优收敛速率，该类损失函数统一了$l^p$范数、总变差以及广义Wasserstein和Kolmogorov-Smirnov距离。研究证明，诸如经验分布或核密度估计器等线性估计器通常无法达到这些最优速率，并表明通过在IPM框架内形式化生成对抗网络（GANs），GANs能够严格优于这些线性估计器。

ABSTRACT

We study the problem of estimating a nonparametric probability density under a large family of losses called Besov IPMs, which include, for example, $\mathcal{L}^p$ distances, total variation distance, and generalizations of both Wasserstein and Kolmogorov-Smirnov distances. For a wide variety of settings, we provide both lower and upper bounds, identifying precisely how the choice of loss function and assumptions on the data interact to determine the minimax optimal convergence rate. We also show that linear distribution estimates, such as the empirical distribution or kernel density estimator, often fail to converge at the optimal rate. Our bounds generalize, unify, or improve several recent and classical results. Moreover, IPMs can be used to formalize a statistical model of generative adversarial networks (GANs). Thus, we show how our results imply bounds on the statistical error of a GAN, showing, for example, that GANs can strictly outperform the best linear estimator.

研究动机与目标

• 刻画在一类称为Besov IPM的广义损失函数下的非参数密度估计的极小极大最优收敛速率。
• 识别损失函数的选择与底层密度的光滑性假设如何共同决定最优收敛速率。
• 证明在许多情形下，标准的线性估计器（如经验分布和核密度估计器）无法达到极小极大最优速率。
• 通过IPM框架形式化生成对抗网络（GANs）的统计模型，从而为GAN的一般化误差提供理论界。

提出的方法

• 作者在具有光滑性约束的密度类上分析极小极大风险，使用Besov IPM作为损失函数，该函数推广了$l^p$范数、总变差和Wasserstein型距离。
• 利用泛函分析和经验过程理论的技术，推导极小极大风险的上下界，尤其关注光滑性与损失几何结构之间的相互作用。
• 分析利用Besov范数与其测试函数对偶空间之间的对偶性，将估计问题表述为函数类上经验过程的上确界。
• 通过将判别器解释为IPM对偶空间中的函数，将该框架应用于GANs，从而推导出GANs的统计误差界。
• 本文确立了最优速率取决于真实密度的光滑性以及所用IPM的类型，不同损失类型表现出不同的行为。
• 研究结果表明，线性估计器的极小极大速率严格慢于最优速率，意味着非线性方法（如GANs）具有根本性的统计优势。

实验结果

研究问题

• RQ1 在Besov IPM损失下，非参数密度估计的极小极大最优收敛速率是什么？其如何依赖于底层密度的光滑性？
• RQ2 损失函数的选择（如$l^p$、总变差、Wasserstein）与光滑性假设如何相互作用以决定最优速率？
• RQ3 为何在某些IPM损失下，线性估计器（如经验分布和核密度估计器）无法达到极小极大最优速率？
• RQ4 能否通过IPM框架对GANs的统计性能进行形式化界定？它们在收敛速率方面是否优于线性估计器？

主要发现

• 在Besov IPM损失下，非参数密度估计的极小极大最优收敛速率取决于真实密度的光滑性以及所用IPM的具体类型，不同损失族具有不同的速率。
• 对于许多Besov IPM损失，线性估计器（如经验分布和核密度估计器）在收敛速率上表现次优，无法达到极小极大速率。
• 本文提供了一个统一框架，可推广、统一或改进在不同损失函数下密度估计的若干经典与近期结果。
• 通过将GANs形式化为基于IPM的估计器，本文表明GANs能够实现严格优于最优线性估计器的统计收敛速率，意味着在估计效率上具有根本优势。
• 分析揭示，损失函数的选择显著影响极小极大速率，某些IPM（如总变差）在相同光滑性假设下导致比其他IPM（如$l^p$）更慢的速率。
• 结果表明，IPM的对偶表示可实现对估计误差的更紧密控制，并支持在多样化统计模型中推导出精确的极小极大界。