[论文解读] On the Discrimination-Generalization Tradeoff in GANs

Pengchuan Zhang, Qiang Liu+3 more|arXiv (Cornell University)|Nov 7, 2017

Evolutionary Algorithms and Applications参考文献 33被引用 34

一句话总结

本文建立了 GAN 中神经网络判别器在实现判别能力（区分真实数据与生成数据的能力）和泛化能力（对未见数据的泛化能力）时的理论条件。证明了若判别器集合的线性张量在有界连续函数空间中稠密，则该判别器集合具有判别能力，并提供了泛化界，表明只要判别器集合足够小，即可保证泛化能力，无论生成器规模如何，尤其在神经距离和 KL 散度度量下成立。

ABSTRACT

Generative adversarial training can be generally understood as minimizing certain moment matching loss defined by a set of discriminator functions, typically neural networks. The discriminator set should be large enough to be able to uniquely identify the true distribution (discriminative), and also be small enough to go beyond memorizing samples (generalizable). In this paper, we show that a discriminator set is guaranteed to be discriminative whenever its linear span is dense in the set of bounded continuous functions. This is a very mild condition satisfied even by neural networks with a single neuron. Further, we develop generalization bounds between the learned distribution and true distribution under different evaluation metrics. When evaluated with neural distance, our bounds show that generalization is guaranteed as long as the discriminator set is small enough, regardless of the size of the generator or hypothesis set. When evaluated with KL divergence, our bound provides an explanation on the counter-intuitive behaviors of testing likelihood in GAN training. Our analysis sheds lights on understanding the practical performance of GANs.

研究动机与目标

• 理解 GAN 实现判别与泛化双重能力的理论条件。
• 分析判别器集合在确保 GAN 目标函数同时具备判别性与泛化性方面的作用。
• 在不同评估度量下推导与生成器集合无关的 GAN 泛化边界。
• 使用基于 KL 散度的边界解释 GAN 训练中测试似然性表现反直觉的原因。
• 识别实际 GAN 训练中判别器容量与泛化性能之间的平衡关系。

提出的方法

• 证明若判别器集合的函数线性张量在有界连续函数空间中稠密，则该判别器集合具有判别能力。
• 使用积分概率度量（IPMs）将 GAN 训练目标形式化为最小化真实数据分布与生成分布之间的距离。
• 推导神经距离下的泛化边界，表明只要判别器集合足够小，即可保证泛化能力，且与生成器规模无关。
• 提供基于 KL 散度的泛化边界，解释 GAN 中测试似然性不稳定的根源。
• 通过判别器特征的线性张量（特别是最后一层特征）分析神经距离与神经散度。
• 应用泛函分析与经验过程理论的结果，以判别器的复杂度为依据，对泛化误差进行边界界定。

实验结果

研究问题

• RQ1 在何种条件下，GAN 中的神经距离可保证具备判别能力？
• RQ2 判别器集合的大小与复杂度如何影响 GAN 的泛化性能？
• RQ3 为何 GAN 训练中测试似然性常表现出反直觉行为？能否从理论上加以解释？
• RQ4 能否独立于生成器集合推导出泛化边界？其紧致性由什么决定？
• RQ5 判别器表达能力与生成分布泛化能力之间存在何种理论关系？

主要发现

• 若判别器函数的线性张量在有界连续函数空间中稠密，则判别器集合可保证具备判别能力，这一条件甚至在单神经元网络中也易于满足。
• 只要判别器集合足够小，无论生成器或假设集合规模如何，GAN 的泛化能力均可通过神经距离得到保证。
• 基于 KL 散度的泛化边界可解释 GAN 训练中测试似然性表现反直觉的原因，即低似然性并不必然意味着生成质量差。
• 若判别器最后一层特征的线性张量在有界连续函数空间中稠密，则神经散度具备判别能力。
• 理论分析揭示了判别与泛化之间存在根本性权衡：判别能力需要大容量判别器，但泛化能力则要求小容量判别器。
• 研究结果与实际 GAN 方法一致，后者通过隐式平衡判别器容量，实现了良好的判别与泛化性能。