[论文解读] Spatial Fusion GAN for Image Synthesis

Fangneng Zhan, Hongyuan Zhu+1 more|arXiv (Cornell University)|Dec 14, 2018

Generative Adversarial Networks and Image Synthesis参考文献 56被引用 8

一句话总结

本文提出空间融合生成对抗网络（SF-GAN），一种端到端可训练的生成模型，通过集成带有引导滤波的几何生成器与外观生成器，同时在几何与外观空间中实现逼真性。该方法在合成逼真场景文本图像和穿戴肖像图像方面优于当前最先进方法，使识别准确率较基线GAN提升6%。

ABSTRACT

Recent advances in generative adversarial networks (GANs) have shown great potentials in realistic image synthesis whereas most existing works address synthesis realism in either appearance space or geometry space but few in both. This paper presents an innovative Spatial Fusion GAN (SF-GAN) that combines a geometry synthesizer and an appearance synthesizer to achieve synthesis realism in both geometry and appearance spaces. The geometry synthesizer learns contextual geometries of background images and transforms and places foreground objects into the background images unanimously. The appearance synthesizer adjusts the color, brightness and styles of the foreground objects and embeds them into background images harmoniously, where a guided filter is introduced for detail preserving. The two synthesizers are inter-connected as mutual references which can be trained end-to-end without supervision. The SF-GAN has been evaluated in two tasks: (1) realistic scene text image synthesis for training better recognition models; (2) glass and hat wearing for realistic matching glasses and hats with real portraits. Qualitative and quantitative comparisons with the state-of-the-art demonstrate the superiority of the proposed SF-GAN.

研究动机与目标

• 解决现有GAN仅在几何空间或外观空间中实现逼真性，但无法同时兼顾的问题。
• 开发一种统一框架，实现几何与外观生成的端到端训练，且监督程度最低。
• 生成高质量、逼真的图像，用于训练深度学习模型，尤其适用于场景文本与穿戴肖像应用。
• 探究GAN生成图像在提升下游识别模型性能方面的实用性。

提出的方法

• SF-GAN采用几何生成器，学习上下文背景几何结构，并应用空间变换（如薄板样条）将前景物体与背景对齐。
• 外观生成器利用引导滤波调整前景物体的颜色、亮度与风格，以在外观迁移过程中保留精细细节。
• 几何生成器与外观生成器互为参考，实现端到端训练中的联合优化。
• 使用判别器通过区分真实图像与生成图像来强制实现逼真性，从而指导两个生成器。
• 模型在无完整监督条件下进行训练，依赖对抗损失与感知损失实现对齐与逼真性。
• 引导滤波被特别集成到外观分支中，以减轻基于GAN的风格迁移中常见的细节损失。

实验结果

研究问题

• RQ1 GAN能否同时在图像生成中实现几何与外观空间的逼真性？
• RQ2 几何与外观生成之间的相互作用相比单模态方法，如何提升图像逼真度？
• RQ3 GAN生成图像在多大程度上能提升下游识别模型的性能？
• RQ4 所提方法能否泛化到多样化的图像构图任务，如场景文本生成与穿戴肖像任务？

主要发现

• 在AMT用户研究中，SF-GAN在场景文本图像上的逼真度评分为57.7%，显著优于ST-GAN（31.6%）及其他最先进方法。
• 在穿戴肖像任务中，SF-GAN在AMT中的逼真度分类得分为67.3%，超过ST-GAN（42.6%），展现出更优的外观与几何协调性。
• 当用于训练识别模型时，SF-GAN相较基线SF-GAN将平均识别准确率提升了6%，证明其在模型预训练中的实用价值。
• 引导滤波组件在外观迁移过程中有效保留了精细细节，减少了其他GAN中常见的伪影。
• 几何与外观分支的相互连接使几何对齐效果优于仅依赖几何的模型，表明训练过程中存在相互增强效应。
• 该模型成功利用薄板样条变换生成了弯曲文本图像，展示了对复杂几何失真的强鲁棒性。