[论文解读] Training Generative Adversarial Networks Via Turing Test

Jianlin Su|arXiv (Cornell University)|Oct 25, 2018

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 11

一句话总结

本文提出T-GANs，一种新型生成对抗网络训练框架，将对抗过程解释为图灵测试，通过最小化联合分布 $\tilde{p}(x_r)q(x_f)$ 与 $\tilde{p}(x_f)q(x_r)$ 之间的距离实现。通过在生成器训练过程中引入真实样本信号，T-GANs在无需超参数调优的情况下，实现了高分辨率图像（256×256）的更快收敛与稳定训练。

ABSTRACT

In this article, we introduce a new mode for training Generative Adversarial Networks (GANs). Rather than minimizing the distance of evidence distribution $ ilde{p}(x)$ and the generative distribution $q(x)$, we minimize the distance of $ ilde{p}(x_r)q(x_f)$ and $ ilde{p}(x_f)q(x_r)$. This adversarial pattern can be interpreted as a Turing test in GANs. It allows us to use information of real samples during training generator and accelerates the whole training procedure. We even find that just proportionally increasing the size of discriminator and generator, it succeeds on 256x256 resolution without adjusting hyperparameters carefully.

研究动机与目标

• 解决标准GAN在高分辨率数据集（如256×256图像）上存在的不稳定性与收敛缓慢问题。
• 克服标准GAN中生成器仅接收判别器对真实数据记忆的反馈、而无法获得直接真实样本信号的局限性。
• 开发一种可泛化的训练范式，可与现有GAN框架（如SGANs和WGANs）集成。
• 证明在生成器更新过程中引入真实样本信息可提升训练稳定性与收敛速度。

提出的方法

• 提出一种新的对抗目标，最小化联合分布 $\tilde{p}(x_r)q(x_f)$ 与 $\tilde{p}(x_f)q(x_r)$ 之间的距离，其中 $x_r$ 为真实样本，$x_f$ 为生成样本。
• 设计一个判别器 $T(x_r, x_f)$，同时输入真实图像与生成图像，利用编码器 $E(\bullet)$ 和多层感知机 $D(\bullet)$ 计算基于编码特征差异的标量输出。
• 将新目标集成至标准GAN（T-SGANs）与Wasserstein GAN（T-WGANs）中，实现与现有架构的兼容性。
• 对判别器 $T(x_r, x_f)$ 应用谱归一化以稳定训练，遵循GAN中既定实践。
• 采用改进的训练调度：每轮判别器更新后，生成器更新两次，提升训练效率。
• 使用Adam优化器，所有分辨率下均采用固定超参数（初始学习率=0.0002，β1=0.5）。

实验结果

研究问题

• RQ1 在生成器训练过程中引入直接真实样本信号，是否能提升GAN的收敛速度与稳定性？
• RQ2 所提出的受图灵测试启发的目标是否在高分辨率图像生成中优于标准GAN，表现在训练稳定性与FID分数上？
• RQ3 T-GANs是否能在无需大量超参数调优的情况下实现高质量的256×256图像生成？
• RQ4 与SOTA GAN（如WGAN-GP和RSGANs）相比，T-GANs在收敛速度与FID方面表现如何？
• RQ5 该方法是否可在SGANs与WGANs等不同GAN框架中实现泛化？

主要发现

• T-SGANs与T-WGANs约在10,000次迭代内收敛，性能达到标准GAN（如DCGAN、WGAN-GP）约20,000次迭代的水平，表明收敛速度接近翻倍。
• 在64×64分辨率的CIFAR-10数据集上，T-GANs的收敛速度优于DCGANs、DCGAN-SN、WGAN-SN、WGAN-GP与RSGANs，性能差距不显著但训练速度快得多。
• 在128×128分辨率下，大多数标准GAN无法稳定训练或需高度特定的超参数，而T-GANs保持一致性能与快速收敛。
• 在256×256分辨率下，T-GANs成功生成高质量图像，而所有其他标准GAN在相同条件下均无法有效训练。
• 在128×128分辨率的CIFAR-10上，T-GANs的Fréchet Inception Distance（FID）为46.92，优于SGAN-SN（65.78）、WGAN-SN（66.63）与RSGAN-SN（98.87），表明样本质量更优。
• T-GANs在64×64、128×128与256×256分辨率下均保持一致性能，仅需12,000次迭代即可获得良好结果，无论分辨率如何，表现出对尺度的强鲁棒性。