[论文解读] SegAttnGAN: Text to Image Generation with Segmentation Attention

Yuchuan Gou, Qiancheng Wu+3 more|arXiv (Cornell University)|May 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 6

一句话总结

本文提出 SegAttnGAN，一种文本到图像生成模型，通过将分割图作为空间注意力引导，以提升图像的真实感和布局一致性。通过结合文本和基于分割的注意力机制，该模型在 CUB 数据集上实现了 4.84 的 SOTA Inception Score，在 Oxford-102 数据集上达到 3.52，其自注意力变体可端到端生成掩码，同时保持高质量输出。

ABSTRACT

In this paper, we propose a novel generative network (SegAttnGAN) that utilizes additional segmentation information for the text-to-image synthesis task. As the segmentation data introduced to the model provides useful guidance on the generator training, the proposed model can generate images with better realism quality and higher quantitative measures compared with the previous state-of-art methods. We achieved Inception Score of 4.84 on the CUB dataset and 3.52 on the Oxford-102 dataset. Besides, we tested the self-attention SegAttnGAN which uses generated segmentation data instead of masks from datasets for attention and achieved similar high-quality results, suggesting that our model can be adapted for the text-to-image synthesis task.

研究动机与目标

• 解决文本到图像合成中对象形状失真和图像布局不真实的问题。
• 通过在 GAN 训练过程中引入分割图作为空间引导，提升图像真实感和语义一致性。
• 开发一种自注意力变体，可端到端生成分割掩码，减少推理阶段对真实标签掩码的依赖。
• 验证基于分割的注意力是否能同时提升视觉质量和定量指标。

提出的方法

• 在生成器中将分割图作为空间注意力图，以引导特征优化和对象布局学习。
• 使用基于 LSTM 的文本编码器提取词级和句子级特征，用于条件生成。
• 应用分割注意力模块，通过逐元素乘法和残差连接，利用输入分割掩码调制特征图。
• 采用自注意力生成器，从噪声和文本中预测分割掩码，再用于图像生成。
• 结合条件 GAN 训练与多尺度特征图及注意力机制，提升生成图像的保真度和对齐度。
• 使用 Inception Score 和 R-precision 作为评估指标，以衡量图像质量和图文对齐程度。

实验结果

研究问题

• RQ1 分割图能否提升文本到图像合成中生成图像的真实感和布局一致性？
• RQ2 基于分割的空间注意力整合对生成图像的质量和多样性有何影响？
• RQ3 自注意力生成器能否在无需真实标签掩码的情况下，生成高质量的分割掩码以有效引导图像生成？
• RQ4 所提方法是否在定量指标和视觉质量上均优于现有 SOTA 模型？

主要发现

• SegAttnGAN 在 CUB 数据集上取得 4.84 的 Inception Score，优于基线模型 AttnGAN（4.36）及其他 SOTA 方法。
• 在 Oxford-102 数据集上，SegAttnGAN 的 Inception Score 达到 3.52，优于所有对比模型。
• 自注意力变体在 CUB 上取得 4.44 的 Inception Score，在 Oxford-102 上达到 3.34，表明在推理阶段无需真实分割掩码也能保持强大性能。
• R-precision 分数显示，SegAttnGAN 维持了较强的图文对齐能力，CUB 上为 52.71%，与基线 AttnGAN（53.31%）相当。
• 将分割注意力模块应用于 StackGAN++ 后，其 Inception Score 从 3.82 提升至 4.31，表明该方法具有广泛的兼容性和有效性。
• 定性结果证实，分割图能有效约束物体形状，且自注意力变体即使使用预测掩码，也能生成逼真的图像。