[论文解读] Towards a Better Understanding and Regularization of GAN Training Dynamics

Weili Nie, Ankit Patel|arXiv (Cornell University)|Jun 24, 2018

Model Reduction and Neural Networks参考文献 30被引用 14

一句话总结

本文提出JARE，一种用于GAN的新型雅可比正则化方法，可同时缓解训练动态中的两个关键不稳定性因素：相位因子（复特征值的虚部与实部比值较高）和 conditioning 因子（条件数不良的雅可比矩阵）。通过联合处理这两个因素，JARE 提升了收敛稳定性与生成样本质量，在CIFAR-10、CelebA和ImageNet上生成了逼真且多样化的图像，且无模式崩溃现象。

ABSTRACT

Generative adversarial networks (GANs) are notoriously difficult to train and the reasons underlying their (non-)convergence behaviors are still not completely understood. By first considering a simple yet representative GAN example, we mathematically analyze its local convergence behavior in a non-asymptotic way. Furthermore, the analysis is extended to general GANs under certain assumptions. We find that in order to ensure a good convergence rate, two factors of the Jacobian in the GAN training dynamics should be simultaneously avoided, which are (i) the Phase Factor, i.e., the Jacobian has complex eigenvalues with a large imaginary-to-real ratio, and (ii) the Conditioning Factor, i.e., the Jacobian is ill-conditioned. Previous methods of regularizing the Jacobian can only alleviate one of these two factors, while making the other more severe. Thus we propose a new JAcobian REgularization (JARE) for GANs, which simultaneously addresses both factors by construction. Finally, we conduct experiments that confirm our theoretical analysis and demonstrate the advantages of JARE over previous methods in stabilizing GANs.

研究动机与目标

• 识别并分析GAN训练动力学中收敛性差的根本原因，特别是在非渐近设置下。
• 理解为何现有正则化技术通常无法稳定GAN，尽管其改善了一个因素却恶化了另一个因素。
• 开发一种统一的正则化方法，可同时缓解GAN训练雅可比矩阵中的相位因子与conditioning因子。
• 通过在CIFAR-10、CelebA和ImageNet等多样化数据集上的实证实验验证理论分析。
• 证明JARE可在多个基准上实现无模式崩溃的稳定、高质量GAN训练。

提出的方法

• 通过分析平衡点附近训练动力学雅可比矩阵的特征值，对GAN进行非渐近局部收敛性分析。
• 识别出两个导致不稳定的因素：相位因子（具有较大虚实比的复特征值）和conditioning因子（条件数不良的雅可比矩阵）。
• 提出JARE（雅可比正则化），一种新型正则化技术，可在训练过程中显式约束雅可比矩阵的相位与conditioning特性。
• 通过修改梯度更新规则，在标准GAN训练循环中集成JARE，引入对雅可比矩阵谱特性的惩罚项。
• 采用参数化正则化项，同时惩罚特征值的虚实比与雅可比矩阵的条件数。
• 在CIFAR-10、CelebA和ImageNet上使用ResNet结构的生成器与判别器，采用标准超参数与架构变体验证该方法。

实验结果

研究问题

• RQ1 在非渐近设置下，导致GAN训练收敛性差的主要动力学因素是什么？
• RQ2 为何现有雅可比正则化方法尽管改善了雅可比矩阵的某一方面，却常无法稳定GAN？
• RQ3 能否通过单一正则化方法同时缓解GAN雅可比矩阵中的相位因子与conditioning因子？
• RQ4 与先前最先进方法相比，所提出的JARE方法是否能实现更快收敛与更优样本质量？
• RQ5 JARE是否能在复杂数据集（如ImageNet）上实现无模式崩溃或训练崩溃的稳定GAN训练？

主要发现

• 相位因子——表现为具有较大虚实比的复特征值——显著减缓收敛速度并导致训练不稳定。
• Conditioning因子——由条件数不良的雅可比矩阵引起——同样导致收敛速度慢与数值不稳定性。
• 现有正则化方法如谱归一化或共识优化仅缓解一个因素，却恶化了另一个因素。
• JARE成功降低了雅可比矩阵的虚实比与条件数，从而实现更快、更稳定的收敛。
• 在CIFAR-10上，JARE在全部六个实验设置中均生成了逼真且多样化的样本，而标准GAN、SN-GAN与ConOpt则未能实现此效果。
• 在CelebA与ImageNet上，JARE以无监督方式生成了高质量、多样化的面部与物体图像，展现出在复杂、高分辨率数据上的强鲁棒性。