[论文解读] Rates of convergence for nonparametric estimation of singular distributions using generative adversarial networks

Lee, Jeyong, Kwon, Hyeok Kyu+1 more|arXiv (Cornell University)|Feb 7, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文在非参数估计奇异分布（支持于低维流形）的背景下，建立了生成对抗网络（GAN）的收敛速率。在具有加性高斯噪声的深层生成模型下，推导了基于Wasserstein-1距离的GAN估计器的收敛速率，表明其仅依赖于内在维数、光滑性与噪声水平——优于基于似然的方法，并接近极小极大最优速率。

ABSTRACT

It is common in nonparametric estimation problems to impose a certain low-dimensional structure on the unknown parameter to avoid the curse of dimensionality. This paper considers a nonparametric distribution estimation problem with a structural assumption under which the target distribution is allowed to be singular with respect to the Lebesgue measure. In particular, we investigate the use of generative adversarial networks (GANs) for estimating the unknown distribution and obtain a convergence rate with respect to the $L^1$-Wasserstein metric. The convergence rate depends only on the underlying structure and noise level. More interestingly, under the same structural assumption, the convergence rate of GAN is strictly faster than the known rate of VAE in the literature. We also obtain a lower bound for the minimax optimal rate, which is conjectured to be sharp at least in some special cases. Although our upper and lower bounds for the minimax optimal rate do not match, the difference is not significant.

研究动机与目标

• 分析基于 GAN 的估计器在支持于低维流形的奇异分布上的统计收敛速率。
• 比较 GAN 与基于似然的方法（如变分自编码器）在非参数分布估计中的性能。
• 在 Wasserstein-1 距离下，推导估计误差的极小极大下界，以评估最优性。
• 为 GAN 在实际应用中尽管存在训练不稳定性却仍表现出良好经验性能提供理论依据。
• 研究内在维数、光滑性与噪声水平在决定估计效率中的作用。

提出的方法

• 将数据建模为非线性因子模型：$\mathbf{X}_i = \mathbf{g}_0(\mathbf{Z}_i) + \boldsymbol{\epsilon}_i$，其中 $\mathbf{Z}_i \sim P_Z$ 在 $[0,1]^d$ 上，且 $\boldsymbol{\epsilon}_i \sim \mathcal{N}(\mathbf{0}_D, \sigma_0^2 \mathbf{I}_D)$。
• 假设真实数据生成分布 $P_0 = Q_{\mathbf{g}_0} * \mathcal{N}(\mathbf{0}_D, \sigma_0^2 \mathbf{I}_D)$，其中 $Q_{\mathbf{g}_0}$ 关于勒贝格测度奇异。
• 通过真实与估计的推送测度之间的 Wasserstein-1 距离 $W_1(\hat{Q}, Q_0)$ 分析 GAN 估计器。
• 推导收敛速率的上界：对于 Hölder 光滑的生成器 $\mathbf{g}_0 \in \mathcal{H}_K^\beta([0,1]^d)^D$，收敛速率为 $n^{-\frac{\beta}{2\beta + d - 2}}$，其依赖于光滑性 $\beta$、内在维数 $d$ 与样本量 $n$。
• 应用 Fano 不等式建立极小极大下界：$\mathfrak{M}(\mathcal{G}_0, \sigma_0) \gtrsim n^{-\frac{\beta}{2\beta + d - 2}}$，且该下界与 $\sigma_0$ 无关。
• 将生成模型与最优传输理论联系起来，表明 $\beta$-Hölder 生成器对应于 Brenier 映射下的 $\beta-1$-Hölder 密度，支持了速率最优性的猜想。

(a) $\phi(z)$

实验结果

研究问题

• RQ1 对于支持于低维流形的奇异分布，基于 GAN 的估计器的收敛速率是什么？
• RQ2 GAN 的收敛速率与基于似然的方法（如变分自编码器）相比如何？
• RQ3 在 Wasserstein-1 距离下，估计此类奇异分布的极小极大最优速率是多少？
• RQ4 GAN 估计器能否达到极小极大下界？需要满足什么条件？
• RQ5 内在维数、生成器的光滑性与噪声水平如何影响估计速率？

主要发现

• 在 Wasserstein-1 距离下，GAN 估计器实现了 $n^{-\frac{\beta}{2\beta + d - 2}}$ 的收敛速率，仅依赖于光滑性 $\beta$、内在维数 $d$ 与样本量 $n$。
• 该速率快于基于似然的方法的收敛速率，为 GAN 在实际应用中表现出的优越性提供了理论解释。
• 建立了极小极大下界 $\mathfrak{M}(\mathcal{G}_0, \sigma_0) \gtrsim n^{-\frac{\beta}{2\beta + d - 2}}$，表明 GAN 的速率近乎最优。
• 该下界与噪声水平 $\sigma_0$ 无关，表明速率由底层流形的结构与光滑性决定。
• 本文推测该下界是紧的，无法进一步改进，其依据是与最优传输理论的联系以及密度估计中已有结果。
• 理论框架通过 Brenier 映射将生成模型与最优传输理论联系起来，表明 $\beta$-Hölder 生成器对应于 $\beta-1$-Hölder 密度，支持了两种设定下速率等价性的结论。

(b) $\phi^{\prime}(z)$