[论文解读] Regularization And Normalization For Generative Adversarial Networks: A Review

Ziqiang Li, Rentuo Tao+1 more|arXiv (Cornell University)|Aug 19, 2020

Image Processing Techniques and Applications被引用 3

一句话总结

本文综述了生成对抗网络（GANs）中的正则化与归一化技术，将其分类为六类：梯度惩罚、范数归一化、雅可比正则化、层归一化、一致性正则化以及自监督。文章全面分析了这些方法如何提升训练稳定性、缓解模式崩溃并改善GAN的收敛性。

ABSTRACT

Generative adversarial networks(GANs) is a popular generative model. With the development of the deep network, its application is more and more widely. By now, people think that the training of GANs is a two-person zero-sum game(discriminator and generator). The lack of strong supervision information makes the training very difficult, such as non-convergence, mode collapses, gradient disappearance, and the sensitivity of hyperparameters. As we all know, regularization and normalization are commonly used for stability training. This paper reviews and summarizes the research in the regularization and normalization for GAN. All the methods are classified into six groups: Gradient penalty, Norm normalization and regularization, Jacobian regularization, Layer normalization, Consistency regularization, and Self-supervision.

研究动机与目标

• 为解决由于缺乏强监督而导致的GAN训练固有不稳定性。
• 识别并分类可增强GAN训练稳定性的正则化与归一化技术。
• 分析不同方法在缓解模式崩溃和梯度消失等常见GAN失败模式方面的有效性。
• 为GAN的六类主要正则化与归一化技术提供结构化概述。

提出的方法

• 将现有正则化与归一化方法分类为六类：梯度惩罚、范数归一化与正则化、雅可比正则化、层归一化、一致性正则化以及自监督。
• 分析每种方法在稳定生成器与判别器训练动态方面的机制。
• 基于其对损失曲面平滑度、梯度流动性和泛化能力的影响，评估各项技术。
• 强调梯度惩罚在施加Lipschitz约束以防止模式崩溃中的作用。
• 研究层归一化与一致性正则化如何提升特征表示能力与训练鲁棒性。
• 探索自监督作为在无需标注数据的情况下注入弱监督信号的手段。

实验结果

研究问题

• RQ1 不同正则化与归一化技术如何提升GAN训练的稳定性？
• RQ2 与其它正则化方法相比，梯度惩罚在防止模式崩溃方面的相对有效性如何？
• RQ3 像层归一化这样的归一化技术在何种方式下能提升GAN的训练收敛性？
• RQ4 在监督信息有限的情况下，一致性正则化如何增强GAN的鲁棒性？
• RQ5 自监督在无需显式标签的情况下，如何提升GAN性能？

主要发现

• 梯度惩罚通过在判别器上施加Lipschitz约束，有效稳定了训练，减少了模式崩溃。
• 范数归一化与正则化技术改善了梯度流动，并减少了深层GAN架构中的内部协变量偏移。
• 雅可比正则化通过惩罚判别器输出对输入扰动的大幅变化，有助于稳定训练。
• 层归一化通过在每个小批量内对通道特征进行归一化，增强了训练稳定性。
• 一致性正则化通过鼓励判别器对扰动输入产生一致输出，改善了泛化能力。
• 自监督提供了有用的归纳偏置，提升了训练动态，且无需标注数据。