[论文解读] Statistical guarantees for generative models without domination

Nicolas Schreuder, Victor-Emmanuel Brunel+1 more|arXiv (Cornell University)|Oct 19, 2020

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 13

一句话总结

本文提出了一种生成模型的统计框架，避免了对支配测度的绝对连续性这一限制性假设，从而能够对降维效应进行严格分析。通过将生成器建模为低维潜在空间（单位超立方体）的光滑变换，该框架为积分概率度量建立了风险界，表明在光滑性约束下，降低潜在维度可改善泛化误差。

ABSTRACT

In this paper, we introduce a convenient framework for studying (adversarial) generative models from a statistical perspective. It consists in modeling the generative device as a smooth transformation of the unit hypercube of a dimension that is much smaller than that of the ambient space and measuring the quality of the generative model by means of an integral probability metric. In the particular case of integral probability metric defined through a smoothness class, we establish a risk bound quantifying the role of various parameters. In particular, it clearly shows the impact of dimension reduction on the error of the generative model.

研究动机与目标

• 解决现有生成模型在低维流形上不兼容的支配假设所导致的统计局限性。
• 将生成建模形式化为一个分布估计问题，包含三个关键要求：可生成性、统计接近性以及生成样本的新颖性。
• 开发一个框架，量化潜在维度对泛化误差的影响，且无需假设相对于支配测度的绝对连续性。
• 在生成器满足光滑性约束的条件下，为存在污染和噪声时的积分概率度量建立非渐近风险界。

提出的方法

• 将生成过程建模为光滑变换 $ g^* \sharp \mu $，其中 $ \mu = \mathcal{U}_d $ 为 $ d $ 维单位超立方体上的均匀分布。
• 使用定义在光滑类 $ \mathcal{F} \subset \text{Lip}_L(\mathcal{X}) $ 上的积分概率度量 $ \mathsf{d}_{\mathcal{F}} $ 衡量模型质量。
• 在 Huber 污染和高斯噪声模型下分析风险 $ \mathbb{E}[\mathsf{d}_{\mathcal{F}}(g^*\sharp\mu, \widehat{g}_n\sharp\mu)] $。
• 通过假设检验和两点法构造的极小化最大下界，推导估计误差的信息论极限。
• 建立形式为 $ \Omega(\varepsilon \vee \sigma) $ 的风险界，表明误差随噪声水平 $ \sigma $ 和污染水平 $ \varepsilon $ 增大而增长，且存在 $ \sigma/2 $ 的下界。
• 通过构造显式假设证明该界是紧致的，其中真实生成器要么为零，要么被平移 $ \sigma $，导致度量中分离距离为 $ \sigma/2 $。

实验结果

研究问题

• RQ1 我们能否在不假设真实数据分布相对于支配测度绝对连续的条件下，为生成模型建立统计保证？
• RQ2 在光滑性约束下，潜在空间的维度如何影响生成建模中的泛化误差？
• RQ3 当生成器是低维潜在变量的光滑变换时，污染和噪声存在下的估计精度基本极限是什么？
• RQ4 我们能否在此设置下为积分概率度量推导出反映降维益处的非渐近风险界？
• RQ5 所提出的误差界是否在噪声水平 $ \sigma $ 和污染水平 $ \varepsilon $ 上都是紧致的？

主要发现

• 论文为在高斯噪声下估计真实生成器的风险建立了极小化最大下界 $ \sigma/2 $，表明误差不可能小于噪声水平的一半。
• 为污染模型导出了 $ \varepsilon/2 $ 的下界，表明估计误差至少与污染水平成正比。
• 风险界在噪声和污染水平上均被证明是紧致的，因为下界与上界仅相差常数因子。
• 该框架成功避免了支配假设，使得对支持在低维流形（如球面）上的分布分析成为可能。
• 结果表明，潜在空间中的降维可提升泛化性能，因为误差依赖于潜在维度 $ d $，而非环境维度 $ D $。
• 分析确认经验分布 $ \widehat{P}_n $ 不属于所提出的类，从而确保了生成样本的新颖性，符合生成建模的要求。