[论文解读] Object-driven Text-to-Image Synthesis via Adversarial Training

Wenbo Li, Pengchuan Zhang+5 more|arXiv (Cornell University)|Feb 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 46

一句话总结

Obj-GAN 引入对象驱动的注意力生成与对象级判别，以从文本合成复杂场景，在 COCO 上相对于以往方法提升结果。

ABSTRACT

In this paper, we propose Object-driven Attentive Generative Adversarial Newtorks (Obj-GANs) that allow object-centered text-to-image synthesis for complex scenes. Following the two-step (layout-image) generation process, a novel object-driven attentive image generator is proposed to synthesize salient objects by paying attention to the most relevant words in the text description and the pre-generated semantic layout. In addition, a new Fast R-CNN based object-wise discriminator is proposed to provide rich object-wise discrimination signals on whether the synthesized object matches the text description and the pre-generated layout. The proposed Obj-GAN significantly outperforms the previous state of the art in various metrics on the large-scale COCO benchmark, increasing the Inception score by 27% and decreasing the FID score by 11%. A thorough comparison between the traditional grid attention and the new object-driven attention is provided through analyzing their mechanisms and visualizing their attention layers, showing insights of how the proposed model generates complex scenes in high quality.

研究动机与目标

• 从复杂文本描述中生成高质量、语义意义明确的图像的动机。
• 需要显式建模对象及其关系以处理 COCO 规模的场景。
• 开发一个对象驱动的注意力机制，在生成过程中利用单词级和对象级信息。
• 提出一个对象级判别器，以提供与布局对齐的对象级反馈。

提出的方法

• 两步生成：先进行语义布局（边界框和形状），再进行图像合成。
• 一个对象驱动的注意力图像生成器，使用类别标签来查询每个对象区域的词语上下文。
• 一个对象级的基于 Fast R-CNN 的判别器，评估每个边界框相对于文本和布局的真实性。
• 一种对象驱动的注意力机制，计算每个对象的词上下文并将上下文分配给对象区域。
• 切片级判别器提供无条件和文本条件的反馈；最终阶段的对象级判别器提供对象特定的反馈。
• 损失函数将 GAN 目标与 DAMSM 跨模态相似度损失结合，用于词级文本–图像对齐。

实验结果

研究问题

• RQ1 对象驱动的注意力是否可在描述性文本的基础上改善细粒度、多对象的图像合成？
• RQ2 将对象级判别和布局条件化引入是否可以提升 COCO 规模场景的真实感与布局保真度？
• RQ3 对象驱动的注意力与网格注意力在引导高质量生成方面有何差异？
• RQ4 使用真值布局与预测布局对合成质量有何影响？
• RQ5 所提出的组件是否能够泛化到新颖、罕见的场景描述？

主要发现

• Obj-GAN 在 COCO 文本到图像合成方面显著优于以前的方法。
• 使用对象驱动的注意力比网格注意力变体获得更高的 Inception 分数和更低的 FID。
• 具备真值布局的 Obj-GAN 能达到最佳的定性与定量结果，体现了布局质量的影响。
• 消融实验表明对象驱动的注意力在生成前景与背景纹理方面优于网格注意力，生成更连贯。
• Obj-GAN-SOTA 变体在研究中的 COCO 基准上实现了最佳已报道指标。
• 定性结果显示更好的对象保真度和场景连贯性，包括对新颖描述的处理。