[论文解读] Stabilizing Training of Generative Adversarial Networks through Regularization
本文提出一种基于噪声的正则化器，用于 f-GAN 的判别器，以稳定 GAN 训练，解决维度不匹配并在各种体系结构中提升样本质量。
Deep generative models based on Generative Adversarial Networks (GANs) have demonstrated impressive sample quality but in order to work they require a careful choice of architecture, parameter initialization, and selection of hyper-parameters. This fragility is in part due to a dimensional mismatch or non-overlapping support between the model distribution and the data distribution, causing their density ratio and the associated f-divergence to be undefined. We overcome this fundamental limitation and propose a new regularization approach with low computational cost that yields a stable GAN training procedure. We demonstrate the effectiveness of this regularizer across several architectures trained on common benchmark image generation tasks. Our regularization turns GAN models into reliable building blocks for deep learning.
研究动机与目标
- 激发并解决由数据分布与模型分布之间的维度不匹配引起的 GAN 训练不稳定性。
- 引入一种基于噪声的正则化框架，产生一个定义明确、鲁棒的 f-GAN 目标。
- 提供一个高效、可实现的正则化器，在各种 GAN 架构和数据集上稳定训练。
- 在多种模型和基准测试上评估稳定性和样本质量。
提出的方法
- 通过用高斯噪声卷积数据来获得更平滑的判别器，推导出适用于 f-GANs 的噪声卷积正则化。
- 用梯度范数惩罚近似得到的正则化目标，该惩罚以 f-复合函数的二阶导数为权重乘以梯度的平方。
- 将该正则化器专用于 Jensen-Shannon GANs，得到对判别器及其 logit 的梯度范数惩罚，可通过反向传播计算。
- 提出一个正则化强度 gamma 的退火方案，以在训练早期的稳定性和后期性能之间取得平衡。
- 提供 Algorithm 1，详细说明带有判别器梯度惩罚和生成器更新的 Regularized JS-GAN。
实验结果
研究问题
- RQ1在数据分布和模型分布存在非重叠支持或维度不匹配时，向判别器添加噪声诱导的正则化是否能稳定训练？
- RQ2所提出的正则化器如何在不同 GAN 架构和数据集上影响稳定性、收敛性和样本质量？
- RQ3正则化强度退火对训练动力学和最终生成样本质量的影响是什么？
- RQ4在稳定性和样本质量方面，正则化与显式输入噪声相比如何？
- RQ5跨测试是否揭示了正则化 GAN 相较于未正则化的泛化优势？
主要发现
- 该正则化器在包括 CelebA、CIFAR-10 和 LSUN bedrooms 在内的多种架构和数据集上稳定了 GAN 训练。
- 在具有挑战性的维度错配情形中，正则化 GAN 可以几乎无限期地训练而不崩溃。
- 对正则化强度 gamma 的退火在训练初期提高稳定性，并在 gamma 降低但仍非零时仍然有益。
- 正则化产生的样本在视觉质量上高于未正则化的模型，在稳定性和质量方面也超过显式输入噪声的表现。
- 跨测试表明正则化模型的判别器对区分其自身生成数据具有更好的泛化能力，指示改进的泛化特性。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。