[论文解读] Structured Prediction using cGANs with Fusion Discriminator

Faisal Mahmood, Wenhao Xu+3 more|arXiv (Cornell University)|Mar 27, 2019

Image Processing Techniques and Applications被引用 2

一句话总结

本文提出融合判别器（fusion discriminator），一种统一的条件生成对抗网络（cGAN）框架，通过单一且灵活的判别器强制实现更高阶的一致性，从而提升图像生成、语义分割和深度估计等结构化预测任务的性能。该方法在多种任务上优于现有方法，且不局限于特定的势函数。

ABSTRACT

We propose the fusion discriminator, a single unified framework for incorporating conditional information into a generative adversarial network (GAN) for a variety of distinct structured prediction tasks, including image synthesis, semantic segmentation, and depth estimation. Much like commonly used convolutional neural network -- conditional Markov random field (CNN-CRF) models, the proposed method is able to enforce higher-order consistency in the model, but without being limited to a very specific class of potentials. The method is conceptually simple and flexible, and our experimental results demonstrate improvement on several diverse structured prediction tasks.

研究动机与目标

• 为解决在深度生成模型中强制实现结构化预测任务更高阶一致性的挑战。
• 开发一种灵活且统一的框架，超越特定势函数，泛化于多种结构化预测任务。
• 通过引入增强结构一致性的条件GAN，提升图像生成、语义分割和深度估计的性能。
• 通过将条件建模直接整合到GAN训练过程中，替代或超越传统的CNN-CRF模型。

提出的方法

• 融合判别器将条件信息直接整合到GAN框架中，实现生成器与判别器在结构化输出上的联合优化。
• 其使用统一的判别器，同时处理真实样本与生成样本及其对应条件，强制实现空间结构上的一致性。
• 该方法通过对抗训练端到端学习结构化依赖关系，避免对预定义势函数的依赖。
• 条件信息在判别器的多个层级进行融合，使模型能够捕捉结构化输出中的复杂高阶依赖关系。
• 该框架设计为模块化，可直接应用于多种结构化预测任务，无需架构大幅修改。
• 训练过程采用标准GAN目标，融合判别器确保生成结果在真实感与结构一致性两方面均表现优异。

实验结果

研究问题

• RQ1 统一的GAN框架能否在多种结构化预测任务中有效强制实现更高阶一致性？
• RQ2 融合判别器在性能与灵活性方面与传统CNN-CRF模型相比如何？
• RQ3 融合判别器在图像生成、分割和深度估计等不同结构化预测任务中的泛化能力如何？
• RQ4 所提出方法是否在结构化预测基准上超越现有条件GAN？

主要发现

• 融合判别器在图像生成、语义分割和深度估计等多个结构化预测任务中均实现性能提升。
• 该方法在预测中表现出更高阶的一致性，与CNN-CRF模型类似，但不受特定势函数的限制。
• 该框架具有高度灵活性与泛化能力，可仅通过最小架构调整直接应用于多种结构化预测任务。
• 实验结果表明，该方法在基线条件GAN上实现一致改进，并在性能上与CNN-CRF模型具有竞争力。