[论文解读] SEIGAN: Towards Compositional Image Generation by Simultaneously Learning to Segment, Enhance, and Inpaint

Pavel Ostyakov, Roman Suvorov+3 more|arXiv (Cornell University)|Nov 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 16

一句话总结

SEIGAN 提出了一种端到端的生成对抗网络，通过仅使用边界框监督，在图像合成过程中同时学习分割、增强和修复。它通过利用循环一致性与对抗训练，无需真实分割掩码，实现了最先进的分割 mIoU 分数，并在人类评估中表现出更优的感知图像质量。

ABSTRACT

We present a novel approach to image manipulation and understanding by simultaneously learning to segment object masks, paste objects to another background image, and remove them from original images. For this purpose, we develop a novel generative model for compositional image generation, SEIGAN (Segment-Enhance-Inpaint Generative Adversarial Network), which learns these three operations together in an adversarial architecture with additional cycle consistency losses. To train, SEIGAN needs only bounding box supervision and does not require pairing or ground truth masks. SEIGAN produces better generated images (evaluated by human assessors) than other approaches and produces high-quality segmentation masks, improving over other adversarially trained approaches and getting closer to the results of fully supervised training.

研究动机与目标

• 开发一个统一的深度学习框架，用于图像构图生成，整合分割、对象增强与背景修复功能。
• 使用弱监督进行模型训练——具体而言，仅使用边界框标注，无需真实分割掩码或成对训练数据。
• 通过联合优化与循环一致性，同时提升生成图像的感知质量与分割掩码的准确性。
• 实现单一模型的端到端训练，以语义一致的方式执行剪切、粘贴与修复操作。

提出的方法

• SEIGAN 采用基于 GAN 的架构，共享编码器-解码器组件，用于分割、增强与修复，实现端到端训练。
• 模型使用循环一致性损失，确保剪切对象后恢复背景能还原原始图像，从而提升结构一致性。
• 通过判别器评估生成图像的真实性，结合对抗训练，提升感知质量。
• 分割通过生成器头输出对象掩码实现，该掩码用于引导对象粘贴与背景修复。
• 训练流程通过从图像中随机裁剪来模拟对象与背景配对，以边界框作为监督信号。
• 设计了一种新型损失函数，结合对抗损失、存在性损失（用于验证对象存在）与剪切损失（确保对象被完整移除）。

实验结果

研究问题

• RQ1 单一深度生成模型能否在仅使用边界框监督的情况下，联合学习分割、图像增强与背景修复？
• RQ2 与分别训练这些操作相比，联合训练这三项功能是否能提升分割准确率与图像质量？
• RQ3 循环一致性损失如何影响生成图像的质量与分割掩码的鲁棒性？
• RQ4 在仅使用边界框的弱监督训练下，性能在多大程度上可接近全监督方法在分割与图像生成任务中的表现？

主要发现

• SEIGAN 在 COCO 与 Cityscapes 数据集上取得了具有竞争力的平均交并比（mIoU）分数，优于 NoCycle 基线模型，且接近全监督模型。
• 在 COCO 数据集上，SEIGAN 的 mIoU 达到 0.762，高于 NoCycle 的 0.723，接近全监督基线的 0.830。
• 在 Cityscapes 数据集上，SEIGAN 的 mIoU 达到 0.802，高于 NoCycle 的 0.754，接近全监督基线的 0.867。
• 人类评估确认，即使没有真实分割掩码，SEIGAN 生成的图像在感知质量上也优于基线方法。
• 消融研究显示，循环一致性损失显著提升了分割准确率与图像真实感。
• SEIGAN 在无需真实标注的情况下生成了高质量的分割掩码，展现出在异构数据集上的强大泛化能力。