[论文解读] Quantitatively Evaluating GANs With Divergences Proposed for Training

Daniel Jiwoong Im, He Ma+2 more|arXiv (Cornell University)|Mar 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 15

一句话总结

本文提出将原本专用于 GAN 训练的分歧度量，作为评估 GAN 性能的定量工具。结果表明，这些度量在不同数据集上对 GAN 变体的排序具有一致性，且与人类感知评分的对齐程度优于现有方法；同时发现，采用某一准则训练的模型在其他度量下也往往排名靠前，表明其对度量选择具有鲁棒性。

ABSTRACT

Generative adversarial networks (GANs) have been extremely effective in approximating complex distributions of high-dimensional, input data samples, and substantial progress has been made in understanding and improving GAN performance in terms of both theory and application. However, we currently lack quantitative methods for model assessment. Because of this, while many GAN variants are being proposed, we have relatively little understanding of their relative abilities. In this paper, we evaluate the performance of various types of GANs using divergence and distance functions typically used only for training. We observe consistency across the various proposed metrics and, interestingly, the test-time metrics do not favour networks that use the same training-time criterion. We also compare the proposed metrics to human perceptual scores.

研究动机与目标

• 解决尽管 GAN 广泛使用且存在众多变体，但缺乏定量评估方法的问题。
• 探究训练期间用于 GAN 的分歧度量是否可作为测试时可靠且通用的评估指标。
• 使用多种基于分歧的度量比较不同 GAN 系族（DCGAN、W-DCGAN、LS-DCGAN）的性能，并评估其一致性。
• 评估这些度量与人类对生成样本质量的感知判断之间的对齐程度。
• 分析 GAN 性能对超参数（如网络规模、噪声维度和生成器/判别器更新比例）的敏感性。

提出的方法

• 通过估计真实数据与生成数据分布之间的分歧，将四种 f-分歧和积分概率度量（IPM）公式——GAN（GC）、最小二乘 GAN（LS）、Wasserstein GAN（IW）和 MMD GAN——作为评估指标。
• 使用来自真实数据和生成数据的样本估计分歧 $ J(\theta) = \min_\theta \max_\phi \mathbb{E}_{P(x)}[\mu(f(x))] - \mathbb{E}_{Q_\theta(x)}[\upsilon(f(x))] $，无需密度估计。
• 采用判别网络 $ D_\phi $ 近似能最大化分歧的最优 $ f $，从而实现自适应且可扩展的评估。
• 在 MNIST 和 CIFAR10 数据集上，对多种 GAN 架构（DCGAN、LS-DCGAN、W-DCGAN）在不同超参数设置下应用这些度量。
• 将所得度量得分与人类感知评分进行比较，并评估不同分歧类型之间的结果一致性。
• 对网络规模、噪声维度、生成器/判别器更新比例以及训练数据规模进行消融研究。

实验结果

研究问题

• RQ1 原本用于 GAN 训练的分歧度量能否作为测试时可靠且定量的评估指标？
• RQ2 不同基于分歧的度量是否在不同数据集和架构上对 GAN 性能产生一致的排序？
• RQ3 所提出的这些度量与人类对样本质量的感知判断之间的相关性如何？
• RQ4 GAN 性能如何随超参数（如网络规模、噪声维度以及生成器与判别器的更新比例）变化？
• RQ5 增加训练数据规模是否对 DCGAN、W-DCGAN 和 LS-DCGAN 的性能提升效果相同？

主要发现

• 所提出的基于分歧的度量在不同类型（GAN、LS、IW、MMD）之间表现出高度一致性，表明其对度量选择具有鲁棒性。
• 即使 W-DCGAN 使用 IW 准则进行训练，LS-DCGAN 的性能仍优于 W-DCGAN，表明测试时的度量不会偏向使用相同目标函数训练的模型。
• 在 LS-DCGAN 中，当训练数据从 10,000 增加到 40,000 个样本时，LS 得分提升了 0.0444 ± 0.0033，而 DCGAN 仅提升了 0.0124 ± 0.00127，表明 W-和 LS-DCGAN 具有更快的数据效率。
• 在所有模型中，判别器与生成器的 1:1 更新比例在 CIFAR10 上表现最佳，而 MNIST 的性能则因模型而异，表明不存在通用的最优更新比例。
• 更大的 GAN 架构能获得更好的结果，但当生成器相对于判别器过大时，性能反而下降。
• 这些度量与人类感知评分的对齐程度优于传统指标（如 FID 或 Inception Score），表明其具有更强的感知相关性。