[论文解读] Parametric Adversarial Divergences are Good Task Losses for Generative Modeling

Gabriel Huang, Hugo Berard+4 more|arXiv (Cornell University)|Aug 8, 2017

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 10

一句话总结

本文提出参数化对抗分歧作为生成建模中有效的任务特定损失函数，将其置于统计决策理论框架内，统一了判别器架构设计与结构化损失选择。结果表明，参数化分歧在生成高分辨率数字和学习代数数据约束方面优于非参数化方法。

ABSTRACT

Generative modeling of high dimensional data like images is a notoriously difficult and ill-defined problem. In particular, how to evaluate a learned generative model is unclear. In this position paper, we argue that adversarial learning, pioneered with generative adversarial networks (GANs), provides an interesting framework to implicitly define more meaningful task losses for generative modeling tasks, such as for generating visually realistic images. We refer to those task losses as parametric adversarial divergences and we give two main reasons why we think parametric divergences are good learning objectives for generative modeling. Additionally, we unify the processes of choosing a good structured loss (in structured prediction) and choosing a discriminator architecture (in generative modeling) using statistical decision theory; we are then able to formalize and quantify the intuition that weaker losses are easier to learn from, in a specific setting. Finally, we propose two new challenging tasks to evaluate parametric and nonparametric divergences: a qualitative task of generating very high-resolution digits, and a quantitative task of learning data that satisfies high-level algebraic constraints. We use two common divergences to train a generator and show that the parametric divergence outperforms the nonparametric divergence on both the qualitative and the quantitative task.

研究动机与目标

• 为解决评估生成模型时的定义不明确问题，特别是针对图像等高维数据。
• 提出一种利用对抗学习形式化生成建模中任务特定损失的框架。
• 通过统计决策理论统一结构化预测中的结构化损失选择与生成对抗网络（GAN）中判别器架构设计。
• 在新颖且具有挑战性的生成建模基准上评估参数化与非参数化分歧。
• 通过实证证明，参数化分歧在定性和定量任务中均能实现更优性能。

提出的方法

• 提出参数化对抗分歧作为从对抗训练中导出的隐式、任务导向损失，替代标准 GAN 目标函数。
• 应用统计决策理论，形式化损失设计与判别器架构之间的关系，表明在给定设定下，较弱的损失更易于学习。
• 设计两项新评估任务：生成高分辨率数字（定性）和学习满足高层代数约束的数据（定量）。
• 使用两种常见分歧——参数化与非参数化——训练生成器，并在两项任务中比较性能。
• 利用在参数化分歧下训练的生成器，隐式最小化反映任务特定目标的分歧。
• 通过视觉保真度（定性）和约束满足度（定量）指标量化性能。

实验结果

研究问题

• RQ1 在生成建模中，参数化对抗分歧是否能作为比非参数化分歧更合理且更有效的任务损失？
• RQ2 统计决策理论如何统一生成建模中结构化损失设计与判别器架构设计？
• RQ3 参数化分歧是否能在新颖且具有挑战性的评估基准上超越非参数化分歧？
• RQ4 ‘较弱损失更易学习’的直觉是否可在生成建模中被形式化量化并适用？
• RQ5 参数化分歧是否能提升高分辨率图像生成与基于约束的数据学习的性能？

主要发现

• 在生成极高分辨率数字的定性任务中，参数化对抗分歧优于非参数化分歧。
• 在学习满足高层代数约束数据的定量任务中，参数化分歧实现了更好的约束满足度。
• 所提出的框架在特定统计决策理论设定下，形式化并量化了‘较弱损失更易学习’的直觉。
• 通过统计决策理论统一结构化损失选择与判别器架构设计，为生成建模中的目标设计提供了原则性方法。
• 实证结果证实，参数化分歧在多样且具有挑战性的评估任务中均能带来更优的生成性能。