[论文解读] On the Implicit Assumptions of GANs

Ke Li, Jitendra Malik|arXiv (Cornell University)|Nov 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 14

一句话总结

本文揭示了生成对抗网络（GANs）中关键的隐含假设——特别是训练过程中对真实数据分布的访问依赖——这些假设破坏了理论保证，导致模式崩溃和评估偏差。本文提出隐式最大似然估计（IMLE）作为一种无需显式似然计算的方法，通过直接优化最大似然目标，实现完整召回，从而改善分布建模。

ABSTRACT

Generative adversarial nets (GANs) have generated a lot of excitement. Despite their popularity, they exhibit a number of well-documented issues in practice, which apparently contradict theoretical guarantees. A number of enlightening papers have pointed out that these issues arise from unjustified assumptions that are commonly made, but the message seems to have been lost amid the optimism of recent years. We believe the identified problems deserve more attention, and highlight the implications on both the properties of GANs and the trajectory of research on probabilistic models. We recently proposed an alternative method that sidesteps these problems.

研究动机与目标

• 揭示GAN理论中隐含的假设：训练期间可访问真实数据分布，而这一假设在实践中极少成立。
• 阐明该假设如何导致关于GAN最小化f-散度（如JS或反向KL）的误导性理论声明。
• 证明当未强制召回时，当前评估指标（如精确度）是不足的，导致样本质量与分布保真度之间出现错配。
• 指出生成建模研究的焦点已从学习真实数据分布，转向生成高质量样本，却以牺牲多样性为代价。
• 提出隐式最大似然估计（IMLE）作为无需显式似然计算的替代方法，通过强制完整召回，恢复隐式模型的最大似然估计目标。

提出的方法

• 本文提出隐式最大似然估计（IMLE），一种无需显式似然计算的参数估计技术，通过最小化生成样本与训练数据点之间期望距离来近似最大似然。
• IMLE通过最近邻搜索找到每个生成样本在训练集中的最近邻，并最小化生成样本与其最近邻之间的L2距离。
• 该方法通过最近邻回归的可微分近似，避免显式计算似然，从而近似似然目标函数。
• IMLE专为似然不可计算的隐式模型设计，通过惩罚远离任何训练样本的生成样本，防止模型忽略训练数据，从而避免模式崩溃。
• 该方法通过使生成样本脱离经验数据分布支撑集的成本变高，强制实现完整召回。
• 通过反向传播计算梯度，基于最近邻映射实现端到端生成器训练。

实验结果

研究问题

• RQ1 GAN理论中导致关于散度最小化（如JS或反向KL散度）误导性声明的隐含假设是什么？
• RQ2 为何在训练过程中用经验数据分布替代真实数据分布会破坏GAN的理论保证？
• RQ3 为何GAN中的模式崩溃源于对真实数据分布的访问假设及对抗目标的使用？
• RQ4 为何在未测量召回的情况下，基于精确度的评估是不足的？这对生成建模中的模型比较有何后果？
• RQ5 能否设计一种无需显式似然计算的似然自由方法，以强制实现完整召回，并在隐式模型中实现最大似然估计？

主要发现

• 经验数据分布与任意连续模型分布之间的Jensen-Shannon散度恒为log 2，因此无法被最小化至零，这否定了GAN在实践中最小化JS散度的说法。
• 对于连续模型，从模型到经验数据分布的反向KL散度是未定义的，因为模型的支持集不包含在经验数据分布的离散支持集中。
• 仅通过精确度评估GAN是具有误导性的，因为精确度的提升可能源于召回率下降，而非对数据分布的更好建模。
• 由于缺乏可靠的召回测量，研究焦点已从学习真实数据分布转向生成高质量但可能模式崩溃的样本。
• 隐式最大似然估计（IMLE）成功实现了完整召回，并提供了一种无需显式似然计算的似然自由替代方法，可近似隐式模型的最大似然估计。
• IMLE通过惩罚远离任何训练样本的生成样本，确保生成器无法忽略训练数据，从而防止模式崩溃并提升分布保真度。