[论文解读] Realistic Image Generation using Region-phrase Attention

Wanming Huang, Yida Xu+1 more|arXiv (Cornell University)|Feb 4, 2019

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 9

一句话总结

该论文在文本到图像 GAN 中提出了一种区域-短语注意力机制，通过将描述性短语（例如 '红色衬衫'）与真实网格对象区域对齐，而非单个词语，从而提升图像的真实感。通过使用辅助边界框和基于词性分析生成的短语级嵌入，该模型生成了更准确、更丰富且上下文一致的图像，在 MSCOCO 数据集上实现了比 AttnGAN 更高的 R-precision 和更好的物体计数准确性。

ABSTRACT

The Generative Adversarial Network (GAN) has recently been applied to generate synthetic images from text. Despite significant advances, most current state-of-the-art algorithms are regular-grid region based; when attention is used, it is mainly applied between individual regular-grid regions and a word. These approaches are sufficient to generate images that contain a single object in its foreground, such as a "bird" or "flower". However, natural languages often involve complex foreground objects and the background may also constitute a variable portion of the generated image. Therefore, the regular-grid based image attention weights may not necessarily concentrate on the intended foreground region(s), which in turn, results in an unnatural looking image. Additionally, individual words such as "a", "blue" and "shirt" do not necessarily provide a full visual context unless they are applied together. For this reason, in our paper, we proposed a novel method in which we introduced an additional set of attentions between true-grid regions and word phrases. The true-grid region is derived using a set of auxiliary bounding boxes. These auxiliary bounding boxes serve as superior location indicators to where the alignment and attention should be drawn with the word phrases. Word phrases are derived from analysing Part-of-Speech (POS) results. We perform experiments on this novel network architecture using the Microsoft Common Objects in Context (MSCOCO) dataset and the model generates $256 imes 256$ conditioned on a short sentence description. Our proposed approach is capable of generating more realistic images compared with the current state-of-the-art algorithms.

研究动机与目标

• 解决现有 GAN 在生成具有复杂前景-背景交互关系的多物体真实图像方面的局限性。
• 通过用短语级注意力替代词级注意力，改善文本与图像区域之间的注意力对齐。
• 通过引入由辅助边界框定义的真实网格区域，提升图像生成的保真度。
• 建模短语的完整视觉上下文（例如 '一个绿色的苹果'），而非孤立的词语。
• 减少对单一关键词的生成偏见，并提升语义相似句子之间的生成一致性。

提出的方法

• 提出一种新颖的注意力机制，计算由辅助边界框定义的真实网格图像区域与通过词性（POS）分析生成的多词短语之间的注意力。
• 引入连续词序列的短语嵌入，以捕捉超越单个词语的语义上下文。
• 修改 DAMSM 损失函数，将短语级嵌入与边界框内的真实网格特征结合，以实现更好的图像-句子对齐。
• 使用单层神经网络进行边界框和物体计数预测，其性能优于深层网络结构。
• 采用与 StackGAN 类似的两阶段 GAN 框架，在短语与图像区域之间进行特征级别的注意力计算。
• 在 MSCOCO 数据集上训练模型，采用改进的损失函数，以同时鼓励全局句子-图像一致性与局部区域-短语对齐。

实验结果

研究问题

• RQ1 图像区域与多词短语之间的短语级注意力是否能提升文本到图像生成的真实感与准确性？
• RQ2 使用来自辅助边界框的真实网格区域是否能带来优于常规网格区域的空间注意力对齐效果？
• RQ3 短语级嵌入与词级嵌入相比，在捕捉复杂视觉上下文方面表现如何？
• RQ4 当句子中明确描述物体数量与空间关系时，该模型能否生成具有正确物体计数与空间关系的图像？
• RQ5 所提出的方法是否能减少由语义不同但相似的句子生成语义相似图像的问题？

主要发现

• 所提方法在 R-precision(100) 上达到 86.44%，在 R-precision(30K) 上达到 9.5%，分别优于 AttnGAN 的 85.47% 和 6.7%。
• 对于明确描述如 '三只绵羊' 或 '一名成人与两名儿童' 的情况，模型在 100% 的情况下均生成了正确物体数量的图像。
• 与 AttnGAN 不同，该模型避免为语义不同但相似的句子（如 'surf' 与 'surfing'）生成相同或近似相同的图像。
• 在 '一头大棕色母牛' 和 '带有前进指示灯的停车标志' 等示例中，模型生成了更准确的物体形状与更优的视觉一致性。
• 模型生成了更高品质的黑白图像，表现出更强的纹理与构图保真度。
• Inception 分数为 23.74±0.36，接近 AttnGAN 的 25.89±0.47，表明尽管分数略低，但图像仍具有良好的多样性与质量。