[论文解读] Non-saturating GAN training as divergence minimization

Matt Shannon, Ben Poole+6 more|arXiv (Cornell University)|Oct 15, 2020

Adversarial Robustness in Machine Learning参考文献 29被引用 8

一句话总结

本文证明非饱和 GAN 训练近似最小化一种新型 f-散度，称为软化反向 KL 散度，其性质与反向 KL 散度相似，可解释实践中常见的高生成样本质量但多样性差的现象。作者提出了用于比较 f-散度的一般工具，基于尾部权重和变分形式，解决了非饱和 GAN 训练中长期存在的理论模糊性。

ABSTRACT

Non-saturating generative adversarial network (GAN) training is widely used and has continued to obtain groundbreaking results. However so far this approach has lacked strong theoretical justification, in contrast to alternatives such as f-GANs and Wasserstein GANs which are motivated in terms of approximate divergence minimization. In this paper we show that non-saturating GAN training does in fact approximately minimize a particular f-divergence. We develop general theoretical tools to compare and classify f-divergences and use these to show that the new f-divergence is qualitatively similar to reverse KL. These results help to explain the high sample quality but poor diversity often observed empirically when using this scheme.

研究动机与目标

• 为广泛使用的非饱和 GAN 训练方案提供严格的理论依据，该方法此前缺乏形式化的散度最小化基础。
• 解决文献中关于非饱和 GAN 所最小化目标函数的相互矛盾说法。
• 基于其定性行为（尤其是尾部权重和模式搜寻特性），开发用于比较 f-散度的一般工具。
• 通过散度最小化的视角，解释非饱和 GAN 中样本质量与多样性之间的经验权衡。
• 基于理论分析，提出实际改进措施，如混合训练和损失监控。

提出的方法

• 作者通过分析生成器梯度更新，推导出非饱和 GAN 训练所最小化的 f-散度，证明其对应于最小化 $ D_f(p,q) = 2\operatorname{KL}(\tfrac{1}{2}p + \tfrac{1}{2}q \| p) $，该散度被称为软化反向 KL 散度。
• 通过定义函数 $ f'' $ 的二阶导数，重新表述 f-散度，使可通过代数与可视化分析直接比较散度特性。
• 提出“尾部权重”新概念，以泛化并分类 f-散度中的模式搜寻与模式覆盖行为。
• 利用 f-散度的变分界，证明非饱和生成器目标在最优判别器下对应于最小化软化反向 KL 散度。
• 将软化反向 KL 与反向 KL 及 IGOG 散度等其他散度进行比较，表明其具有定性相似性但非完全等价。
• 将理论工具应用于证明软化反向 KL 是模式搜寻型的，具有 (2,0) 尾部权重，从而解释 GAN 中多样性差的原因。

实验结果

研究问题

• RQ1 非饱和 GAN 训练近似最小化的是哪种 f-散度？
• RQ2 软化反向 KL 散度的定性特性与反向 KL 及其他 f-散度相比如何？
• RQ3 为何非饱和 GAN 训练会产生高保真度样本但出现模式崩溃？
• RQ4 能否通过统一的 f-散度比较框架，解决非饱和训练中长期存在的理论困惑？
• RQ5 基于对所最小化散度的理解，可提出哪些 GAN 训练的实际改进？

主要发现

• 非饱和 GAN 训练近似最小化软化反向 KL 散度 $ D_f(p,q) = 2\operatorname{KL}(\tfrac{1}{2}p + \tfrac{1}{2}q \| p) $，其与先前提出的 IGOG 散度不等价。
• 软化反向 KL 散度具有 (2,0) 尾部权重，表明其具有强烈的模式搜寻行为，可解释实践中观察到的高样本质量与低多样性。
• 软化反向 KL 与反向 KL 定性相似，提示反向 KL 可能作为混合训练中更理论可靠的替代方案。
• 该分析通过证明非饱和目标对应于特定 f-散度，而非如先前误解的 KL 与 JS 散度的组合，从而解决了文献中的先前矛盾。
• 在训练过程中监控软化反向 KL 散度比追踪传统非饱和生成器损失更具信息量，因为后者仅反映目标的一部分。
• 在训练过程中将右尾部权重从 3/2 逐步退火至 1，可能平衡多样性与质量，提供一种新的训练策略。