[论文解读] The relativistic discriminator: a key element missing from standard GAN

Alexia Jolicoeur‐Martineau|arXiv (Cornell University)|Jul 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 580

一句话总结

本论文提出相对论判别器（RGANs 和 RaGANs），将真实数据与伪造数据一起比较，在各种GAN变体和损失函数中改善稳定性和样本质量，在 CIFAR-10 和 CAT 数据集上获得显著的经验提升。

ABSTRACT

In standard generative adversarial network (SGAN), the discriminator estimates the probability that the input data is real. The generator is trained to increase the probability that fake data is real. We argue that it should also simultaneously decrease the probability that real data is real because 1) this would account for a priori knowledge that half of the data in the mini-batch is fake, 2) this would be observed with divergence minimization, and 3) in optimal settings, SGAN would be equivalent to integral probability metric (IPM) GANs. We show that this property can be induced by using a relativistic discriminator which estimate the probability that the given real data is more realistic than a randomly sampled fake data. We also present a variant in which the discriminator estimate the probability that the given real data is more realistic than fake data, on average. We generalize both approaches to non-standard GAN loss functions and we refer to them respectively as Relativistic GANs (RGANs) and Relativistic average GANs (RaGANs). We show that IPM-based GANs are a subset of RGANs which use the identity function. Empirically, we observe that 1) RGANs and RaGANs are significantly more stable and generate higher quality data samples than their non-relativistic counterparts, 2) Standard RaGAN with gradient penalty generate data of better quality than WGAN-GP while only requiring a single discriminator update per generator update (reducing the time taken for reaching the state-of-the-art by 400%), and 3) RaGANs are able to generate plausible high resolutions images (256x256) from a very small sample (N=2011), while GAN and LSGAN cannot; these images are of significantly better quality than the ones generated by WGAN-GP and SGAN with spectral normalization.

研究动机与目标

• 说明为什么标准 GAN 判别器忽略了与小批量组成有关的一个关键特性（半真实、半伪造）。
• 提出将真实数据与伪造数据联合比较的相对论判别器概念，以更好地与散度最小化对齐。
• 将相对论思想推广到非标准的 GAN 损失，并定义 Relativistic GANs (RGANs) 和 Relativistic average GANs (RaGANs)。
• 展示在不同数据集和架构中稳定性和数据质量方面的实证收益。

提出的方法

• 定义一个相对论判别器 D，它输出真实样本比随机抽样的伪造样本更真实的概率，方式为 D( x_r, x_f ) = sigmoid(C(x_r) - C(x_f)).
• 推导 Relativistic Standard GAN (RSGAN) 损失，其中 D 和 G 损失取决于真实-伪造评判值之间的差异。
• 扩展到 Relativistic GANs (RGANs) 具有一般损失形式 F 和 G，显示使用恒等映射时 IPM-based GANs 是一个子集；引入非饱和版本。
• 引入 Relativistic average GANs (RaGANs)，将数据与对立类别的批量平均值进行比较，从而得到 RaSGAN、RaLSGAN、RaHingeGAN 及其 GAN 变体。
• 提供用于非饱和 RGANs 和 RaGANs 的训练算法（Algorithm 1 与 Algorithm 2）。
• 在 CIFAR-10 与 CAT 上结合标准架构进行评估，使用 Fréchet Inception Distance (FID) 作为主要指标。

实验结果

研究问题

• RQ1 引入对真实与伪造样本的相对比较是否会改善 GAN 的稳定性与样本质量？
• RQ2 相对于传统的 SGAN、LSGAN 和 WGAN 变体，RGANs 与 RaGANs 在标准与非标准 GAN 损失下的表现如何？
• RQ3 是否能够在更高分辨率或更小数据集下实现高质量生成？
• RQ4 相对平均 RaGAN 与逐点相对判别（RGAN）对训练动力学的影响是什么？
• RQ5 在挑战性设定下（例如数据有限、高分辨率），相对论方法是否降低了训练不稳定性？

主要发现

• RGANs 和 RaGANs 通常比它们的非相对论对手具有更好的稳定性和更高质量的样本。
• Relativistic SGAN (RSGAN) with gradient penalty (RSGAN-GP) 在 CIFAR-10 上达到接近于最先进水平的 FID，且每次生成器更新只进行一次判别器更新（FID 25.60）。
• 在 CIFAR-10 上，RaLSGAN 与 RaSGAN 在大多数稳定设置中优于其非相对论版本；RaSGAN-GP 也显示出强劲性能。
• 在具有挑战性的 CAT 数据集上，RaGANs 在 64x64、128x128 和 256x256 分辨率下的最小值、均值 FID 更低，标准差也更低； SGAN 和 LSGAN 在更高分辨率下无法收敛。
• 在极其困难的高分辨率 CAT 生成任务中，RaGANs 常常优于谱归一化和梯度惩罚基线。