[论文解读] Some Theoretical Properties of GANs

Gérard Biau, Benoı̂t Cadre+2 more|arXiv (Cornell University)|Mar 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 10被引用 10

一句话总结

本文对生成对抗网络（GANs）进行了严格的理论分析，建立了其与 Jensen-Shannon 散度的联系，并在较弱的正则性条件下证明了生成器参数的几乎必然收敛性。本文推导了估计生成器分布的中心极限定理，并通过渐近最优性和稳定性结果解释了对抗训练的动力学机制。

ABSTRACT

Generative Adversarial Networks (GANs) are a class of generative algorithms that have been shown to produce state-of-the art samples, especially in the domain of image creation. The fundamental principle of GANs is to approximate the unknown distribution of a given data set by optimizing an objective function through an adversarial game between a family of generators and a family of discriminators. In this paper, we offer a better theoretical understanding of GANs by analyzing some of their mathematical and statistical properties. We study the deep connection between the adversarial principle underlying GANs and the Jensen-Shannon divergence, together with some optimality characteristics of the problem. An analysis of the role of the discriminator family via approximation arguments is also provided. In addition, taking a statistical point of view, we study the large sample properties of the estimated distribution and prove in particular a central limit theorem. Some of our results are illustrated with simulated examples.

研究动机与目标

• 通过分析其数学和统计特性，为 GAN 提供更深入的理论理解。
• 阐明 GAN 对抗原则与 Jensen-Shannon 散度之间的关系。
• 通过逼近论证，在生成器优化的背景下研究判别器族的作用。
• 建立估计生成器分布的大样本性质，包括一致性与渐近正态性。
• 在正则性条件下，证明估计生成器分布的中心极限定理。

提出的方法

• 使用概率论和经验过程工具对 GAN 进行理论分析，重点研究通过判别器对真实样本和生成样本的置信度定义的目标函数。
• 通过变分表示和对偶优化，建立 GAN 目标函数与 Jensen-Shannon 散度之间的联系。
• 应用经验过程理论，分析随着样本量增加，生成器参数估计的收敛性。
• 应用隐函数定理和正则性条件，推导生成器和判别器参数的渐近性质。
• 在弱正则性假设下，证明生成器参数估计几乎必然收敛到最优值。
• 通过分析经验损失函数的梯度和海塞矩阵的渐近分布，推导估计生成器分布的中心极限定理。

实验结果

研究问题

• RQ1 GAN 目标函数与 Jensen-Shannon 散度之间有何关系？
• RQ2 GAN 中生成器参数估计的大样本性质是什么？
• RQ3 在何种条件下，生成器参数几乎必然收敛到最优值？
• RQ4 判别器族的选择如何影响生成器的估计质量？
• RQ5 GAN 中估计生成器分布的渐近分布是什么？

主要发现

• 证明 GAN 目标函数等价于最小化真实数据分布与生成器分布之间的 Jensen-Shannon 散度。
• 在正则性条件下，随着样本量增加，生成器参数估计几乎必然收敛到最优值。
• 为估计生成器分布建立了中心极限定理，表明参数估计具有渐近正态性。
• 在弱假设下，包括损失函数的梯度和海塞矩阵有界且连续，证明了生成器和判别器参数的收敛性。
• 生成器参数的渐近分布由真实损失的海塞矩阵和判别器梯度的雅可比矩阵表征，确保了训练过程的稳定性。
• 理论框架通过证明即使在高维、非参数设定下也具有相合性和渐近正态性，为 GAN 中使用神经网络提供了理论依据。