[论文解读] The GAN Landscape: Losses, Architectures, Regularization, and Normalization

Karol Kurach, Mario Lučić+3 more|arXiv (Cornell University)|Jun 5, 2018

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 124

一句话总结

本文对 GAN 的损失函数、架构、正则化与归一化技术进行了全面的实证研究，系统评估了各类训练方法。该研究复现了当前最先进结果，识别出常见的训练陷阱，并开源了代码与预训练模型，以提升可复现性并指导未来 GAN 的发展。

ABSTRACT

Generative adversarial networks (GANs) are a class of deep generative models which aim to learn a target distribution in an unsupervised fashion. While they were successfully applied to many problems, training a GAN is a notoriously challenging task and requires a significant amount of hyperparameter tuning, neural architecture engineering, and a non-trivial amount of tricks. The success in many practical applications coupled with the lack of a measure to quantify the failure modes of GANs resulted in a plethora of proposed losses, regularization and normalization schemes, and neural architectures. In this work we take a sober view of the current state of GANs from a practical perspective. We reproduce the current state of the art and go beyond fairly exploring the GAN landscape. We discuss common pitfalls and reproducibility issues, open-source our code on Github, and provide pre-trained models on TensorFlow Hub.

研究动机与目标

• 提供对当前 GAN 训练实践的系统性、可复现的评估。
• 识别 GAN 训练中常见的失败模式与超参数陷阱。
• 通过标准化协议，建立当前最先进 GAN 性能的基准。
• 通过在 TensorFlow Hub 上开源代码与预训练模型，促进可复现性。

提出的方法

• 在一致的训练协议下，实证评估多种 GAN 损失函数，包括标准 GAN、WGAN、Hinge 损失与 LS-GAN。
• 系统性地测试不同的神经网络架构、归一化层（BatchNorm、InstanceNorm、LayerNorm）以及正则化技术。
• 在不同架构与训练设置下，应用并比较不同的归一化方案。
• 通过受控的消融实验，隔离各组件对训练稳定性和样本质量的影响。
• 使用标准化训练流程，在 CIFAR-10 与 CelebA 数据集上复现最先进结果。
• 在 GitHub 与 TensorFlow Hub 上开源代码与预训练模型，以确保透明性与可复现性。

实验结果

研究问题

• RQ1 在不同数据集与架构下，哪种 GAN 损失函数能实现最稳定的训练与最佳的样本质量？
• RQ2 不同归一化层（BatchNorm、InstanceNorm、LayerNorm）如何影响 GAN 训练的稳定性与性能？
• RQ3 架构选择与正则化技术对 GAN 收敛性与模式覆盖的影响是什么？
• RQ4 在使用标准化训练协议的前提下，当前最先进 GAN 性能能在多大程度上实现一致复现？
• RQ5 GAN 训练中最常见的可复现性陷阱是什么？应如何缓解？

主要发现

• 损失函数的选择显著影响训练稳定性和样本质量，其中 Hinge 损失与 WGAN 损失在 CIFAR-10 与 CelebA 数据集上表现更优。
• InstanceNorm 与 LayerNorm 等归一化层在 GAN 训练中通常优于 BatchNorm，尤其在小样本数据集上表现更佳。
• 架构选择，特别是残差连接与自注意力模块，对提升样本多样性与保真度起着关键作用。
• 可复现性对超参数与训练协议高度敏感，微小调整即可导致性能显著波动。
• 采用标准化训练流程并开源代码，可实现最先进结果的一致复现。
• 在 TensorFlow Hub 上发布的预训练模型，有助于模型基准测试与下游任务的模型迁移。