[论文解读] Nonparametric Density Estimation under Adversarial Losses

Shashank Singh, Ananya Uppal+4 more|arXiv (Cornell University)|May 22, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 23

一句话总结

本文通过分析分布光滑性与损失结构之间的相互作用，建立了在对抗性损失（如Wasserstein距离、MMD和总变差）下非参数密度估计的极小极大收敛速率。通过正交级数估计器推导出紧致的上界和下界，表明光滑性可提升估计速率，并将这些结果应用于约束最优训练GAN的泛化误差。

ABSTRACT

We study minimax convergence rates of nonparametric density estimation under a large class of loss functions called "adversarial losses", which, besides classical $\mathcal{L}^p$ losses, includes maximum mean discrepancy (MMD), Wasserstein distance, and total variation distance. These losses are closely related to the losses encoded by discriminator networks in generative adversarial networks (GANs). In a general framework, we study how the choice of loss and the assumed smoothness of the underlying density together determine the minimax rate. We also discuss implications for training GANs based on deep ReLU networks, and more general connections to learning implicit generative models in a minimax statistical sense.

研究动机与目标

• 通过在极小极大统计框架下分析对抗性损失，弥合经典非参数统计与现代隐式生成模型（如GAN）之间的差距。
• 识别损失函数选择（如MMD、Wasserstein）与底层密度光滑性如何共同决定极小极大收敛速率。
• 在完美优化条件下，为使用深度ReLU网络训练的GAN提供泛化误差的理论界。
• 阐明显式密度估计与隐式生成建模在极小极大风险方面的统计关系。

提出的方法

• 将对抗性损失形式化为积分概率度量（IPM）的形式 $ d_{\mathcal{F}_D}(P,Q) = \sup_{f \in \mathcal{F}_D} |\mathbb{E}_P[f] - \mathbb{E}_Q[f]| $，其中 $ \mathcal{F}_D $ 为有界可测函数类。
• 使用 $ \mathcal{L}^2 $ 中的正交级数估计器分析极小极大收敛速率，以正交基（如傅里叶或小波）中系数的衰减速率作为关键光滑性度量。
• 在不依赖 $ \mathcal{F}_D $ 或 $ \mathcal{F}_G $ 上内积结构的前提下，推导出估计误差的一般上界和下界，以基系数的衰减速率表示。
• 应用Yarotsky的神经网络逼近结果，界定向完美优化GAN的误差，表明光滑性可实现更快的收敛。
• 通过使用傅里叶基估计器的合成实验，实证验证理论界，展示了在参数化和非参数化情形下分别为 $ n^{-1/2} $ 和 $ n^{-1/3} $ 的速率。

实验结果

研究问题

• RQ1 对抗性损失（如MMD、Wasserstein、$ \mathcal{L}^p $）和真实密度的光滑性如何影响密度估计的极小极大收敛速率？
• RQ2 在一般对抗性损失下，正交级数估计器能否实现极小极大最优速率？基函数系数衰减速率在决定这些速率中起什么作用？
• RQ3 在完美优化条件下，使用深度ReLU生成器和判别器训练的GAN的泛化误差是多少？其随样本量和光滑性的变化规律如何？
• RQ4 显式密度估计的极小极大速率与隐式生成建模的极小极大速率之间有何关系，特别是在统计风险方面？

主要发现

• 对抗性损失下密度估计的极小极大收敛速率随真实密度光滑性的提高而改善，其衡量标准为该密度在正交基中系数的衰减速率。
• 本文建立了估计误差的匹配上界和下界，表明正交级数估计器在一般对抗性损失下可实现极小极大最优性。
• 在固定基维数的参数设定下，极小极大速率为 $ n^{-1/2} $，该结果与实证结果紧密匹配。
• 在基元素数量随样本量增长的非参数情形下，预测速率为 $ n^{-1/3} $，并得到实证验证。
• 在真实密度均匀有下界时，经典统计中的基于 $ \mathcal{L}^2 $ 的极小极大速率适用，将对抗性损失与经典 $ \mathcal{L}^2 $ 估计联系起来。
• 在光滑性假设下，完美优化GAN的泛化误差上界为 $ O(n^{-1/3}) $，该结果通过神经网络逼近理论和主要理论界推导得出。