[论文解读] Semantic Segmentation by Improved Generative Adversarial Networks

Zengshun Zhaoa, Yulong Wang+4 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Neural Network Applications参考文献 26被引用 6

一句话总结

本文提出 Seg-GAN，一种用于语义分割的改进 GAN 框架，该框架用级联卷积 CRF 增强的全卷积判别器替代了传统的 CRF 后处理。通过联合优化对抗损失和分割损失，该方法实现了端到端训练，并提升了细节保留能力，在基准数据集上的表现优于当前最先进方法。

ABSTRACT

While most existing segmentation methods usually combined the powerful feature extraction capabilities of CNNs with Conditional Random Fields (CRFs) post-processing, the result always limited by the fault of CRFs . Due to the notoriously slow calculation speeds and poor efficiency of CRFs, in recent years, CRFs post-processing has been gradually eliminated. In this paper, an improved Generative Adversarial Networks (GANs) for image semantic segmentation task (semantic segmentation by GANs, Seg-GAN) is proposed to facilitate further segmentation research. In addition, we introduce Convolutional CRFs (ConvCRFs) as an effective improvement solution for the image semantic segmentation task. Towards the goal of differentiating the segmentation results from the ground truth distribution and improving the details of the output images, the proposed discriminator network is specially designed in a full convolutional manner combined with cascaded ConvCRFs. Besides, the adversarial loss aggressively encourages the output image to be close to the distribution of the ground truth. Our method not only learns an end-to-end mapping from input image to corresponding output image, but also learns a loss function to train this mapping. The experiments show that our method achieves better performance than state-of-the-art methods.

研究动机与目标

• 为解决条件随机场（CRFs）在语义分割结果后处理中的效率低下和局限性问题。
• 开发一种比基于 CRF 的优化更快、更有效的深度生成模型替代方案。
• 通过将卷积 CRF 集成到 GAN 框架中，提升分割精度和细粒度细节保留能力。
• 实现通过对抗损失进行端到端训练的分割模型，以实现与真实标签分布更好的对齐。

提出的方法

• 提出一种全卷积判别器网络，用于替代基于 GAN 的分割中传统的 CRF 后处理。
• 将级联卷积 CRF 集成到判别器中，以增强分割图中的局部一致性和边缘细节。
• 采用对抗损失，以促使生成的分割图与真实标签的分布相匹配。
• 以端到端方式联合训练生成器和判别器，同时学习映射关系和损失函数。
• 采用条件 GAN 设置，其中生成器根据输入图像生成分割掩码。
• 结合使用分割损失（如交叉熵）和对抗损失来优化生成器。

实验结果

研究问题

• RQ1 基于 GAN 的框架是否能有效替代语义分割中的 CRF 后处理，同时提升推理速度和准确性？
• RQ2 将卷积 CRF 集成到判别器架构中，对分割输出的质量和细节有何影响？
• RQ3 对抗训练在多大程度上改善了预测分割图与真实标签之间的分布对齐？
• RQ4 与传统的两阶段方法相比，采用对抗损失和分割损失的端到端训练是否能带来更优越的性能？

主要发现

• 所提出的 Seg-GAN 在标准语义分割基准测试中达到了最先进性能，优于现有方法。
• 由于在判别器中集成了级联卷积 CRF，该模型在边缘和边界细节保留方面表现出色。
• 消除 CRF 后处理显著提升了推理速度，同时保持或提升了准确性。
• 对抗损失组件有效促使生成器生成更逼真、更接近真实标签分布的分割图。