[论文解读] Stabilizing Generative Adversarial Networks: A Survey

Maciej Wiatrak, Stefano V. Albrecht+1 more|arXiv (Cornell University)|Sep 30, 2019

Model Reduction and Neural Networks参考文献 87被引用 65

一句话总结

对GAN训练稳定化方法的综合综述，将方法分为架构、损失、博弈论、多智能体和梯度基方法，并概述未解决的问题。

ABSTRACT

Generative Adversarial Networks (GANs) are a type of generative model which have received much attention due to their ability to model complex real-world data. Despite their recent successes, the process of training GANs remains challenging, suffering from instability problems such as non-convergence, vanishing or exploding gradients, and mode collapse. In recent years, a diverse set of approaches have been proposed which focus on stabilizing the GAN training procedure. The purpose of this survey is to provide a comprehensive overview of the GAN training stabilization methods which can be found in the literature. We discuss the advantages and disadvantages of each approach, offer a comparative summary, and conclude with a discussion of open problems.

研究动机与目标

• 提供完整的GAN稳定化方法的分层分类。
• 评估每种稳定化方法的优点与局限。
• 总结稳定GAN训练的对比洞察与实际考量。
• 突出GAN稳定化的未解决问题及未来研究方向。

提出的方法

• 将稳定化方法分为五大类：架构、损失函数、博弈论、多智能体和基于梯度的方法。
• 描述每个类别中的代表性技术（例如：DCGAN、SAGAN、PROGAN；各种f-散度和IPM损失；MNE与混合策略均衡；多生成器/判别器设置）。
• 讨论方法之间的实用权衡、计算成本及互补性。
• 提供对比摘要并讨论GAN稳定化中的未解决问题。

实验结果

研究问题

• RQ1 GAN训练的不稳定的主要来源是什么？
• RQ2 存在哪些稳定化策略，它们如何解决收敛、梯度消失/梯度爆炸和模式崩溃？
• RQ3 架构、损失、博弈论、多智能体和基于梯度的稳定化方法的权衡与局限性有哪些？
• RQ4 实现稳健、现成可用的GAN训练还存在哪些未解问题？
• RQ5 不同的稳定化方法在实践中如何相互补充？

主要发现

• 架构变体（例如DCGAN、SAGAN、BigGAN）可提高稳定性和样本质量，但可能增加计算成本。
• 基于损失函数的方法（f-散度、如Wasserstein、MMD等IPM）提供更好的训练动力学，但通常需要特定约束和调优。
• 博弈论和多智能体的表述提供理论收敛见解并有助于减少模式崩溃，尽管在实际应用中受限于假设和成本。
• 基于梯度的优化改进（如乐观镜像下降 Optimistic Mirror Descent、ConOpt、竞争梯度下降 Competitive Gradient Descent）解决非凸动力学问题，但适用性受限或需要额外机制。
• BigGAN在各方面都具有较强的基线，但成本高，体现了稳定性提升与资源之间的权衡。