[论文解读] Semantic Image Synthesis via Adversarial Learning

Hao Dong, Simiao Yu+2 more|arXiv (Cornell University)|Jul 21, 2017

Generative Adversarial Networks and Image Synthesis被引用 38

一句话总结

本文提出一种基于生成对抗网络（GAN）的模型，通过自然语言描述语义地操纵源图像，生成逼真的图像，同时保留与描述无关的图像特征。通过联合编码图像与文本模态并使用对抗训练，该模型生成了多样化、高质量的图像，且与目标描述匹配良好，在鸟类和花卉数据集的用户评估中优于基线模型。

ABSTRACT

In this paper, we propose a way of synthesizing realistic images directly with natural language description, which has many useful applications, e.g. intelligent image manipulation. We attempt to accomplish such synthesis: given a source image and a target text description, our model synthesizes images to meet two requirements: 1) being realistic while matching the target text description; 2) maintaining other image features that are irrelevant to the text description. The model should be able to disentangle the semantic information from the two modalities (image and text), and generate new images from the combined semantics. To achieve this, we proposed an end-to-end neural architecture that leverages adversarial learning to automatically learn implicit loss functions, which are optimized to fulfill the aforementioned two requirements. We have evaluated our model by conducting experiments on Caltech-200 bird dataset and Oxford-102 flower dataset, and have demonstrated that our model is capable of synthesizing realistic images that match the given descriptions, while still maintain other features of original images.

研究动机与目标

• 实现从自然语言描述进行语义图像合成，同时保持文本中未提及的图像特征。
• 解耦并结合来自图像和文本模态的语义表征，以实现可控的图像生成。
• 开发一种端到端的生成模型，利用对抗学习实现隐式、自适应的损失函数。
• 通过从未见过的源图像和文本描述合成图像，实现零样本泛化。
• 支持生成图像的插值与多样性，以实现灵活的图像操作。

提出的方法

• 该模型采用条件生成对抗网络（conditional GAN）框架，其中生成器编码源图像和文本描述，然后解码为合成图像。
• 图像和文本特征分别通过预训练的图像编码器和文本编码器进行编码，然后在解码前进行拼接。
• 判别器同时评估图像的真实性与与给定文本描述的一致性，从而实现联合优化。
• 使用对抗训练来学习隐式损失函数，引导生成器输出逼真且语义一致的结果。
• 通过在潜在空间中线性插值图像或文本嵌入，实现零样本插值。
• 应用文本嵌入增强，以从相同源图像和描述生成多样化图像输出。

实验结果

研究问题

• RQ1 基于 GAN 的模型能否在保留无关图像特征的同时，生成与自然语言描述匹配的逼真图像？
• RQ2 该模型在语义解耦与图像、文本模态语义结合方面表现如何，以实现可控的图像合成？
• RQ3 该模型在未见过的源图像和文本描述上（零样本学习）的泛化能力如何？
• RQ4 该模型能否通过图像或文本嵌入之间的插值实现平滑过渡，以支持连续的图像操作？
• RQ5 在图像质量、文本对齐和特征保留方面，该模型与基线模型相比表现如何？

主要发现

• 在用户评估中，本模型优于基线，鸟类姿态的平均质量得分为 1.61，花卉形状的平均质量得分为 1.55，表明特征保留能力更优。
• 与基线相比，本模型显著更好地保留了复杂背景细节（如树叶），鸟类背景清晰度的平均得分为 1.39，花卉背景清晰度的平均得分为 1.64。
• 在使用 VGG 基损失时，背景质量进一步提升，鸟类背景的平均得分为 1.39，花卉背景的平均得分为 1.64。
• 图像嵌入之间的插值产生了平滑的过渡，表明潜在空间中存在连续且有意义的流形，适用于图像操作。
• 文本嵌入之间的插值成功生成了反映渐进语义变化的图像（如从黑色鸟到红色鸟），同时保持了合理的形状与细节。
• 从相同源图像和文本描述生成了多样化的输出，证明了文本嵌入增强的有效性。