[论文解读] Text2Scene: Generating Compositional Scenes from Textual Descriptions

Fuwen Tan, Song Feng+1 more|arXiv (Cornell University)|Sep 4, 2018

Multimodal Machine Learning Applications参考文献 49被引用 12

一句话总结

Text2Scene 提出了一种非生成对抗网络（non-GAN）、序列到序列的框架，通过在文本和场景状态之间使用交叉注意力机制，迭代预测对象及其属性，从而从自然语言描述中生成组合式场景表征。该方法在抽象场景、物体布局和合成图像合成任务上，于人工评估中达到最先进水平，在自动指标上接近最先进水平，且生成过程具有可解释性与解耦性。

ABSTRACT

In this paper, we propose Text2Scene, a model that generates various forms of compositional scene representations from natural language descriptions. Unlike recent works, our method does NOT use Generative Adversarial Networks (GANs). Text2Scene instead learns to sequentially generate objects and their attributes (location, size, appearance, etc) at every time step by attending to different parts of the input text and the current status of the generated scene. We show that under minor modifications, the proposed framework can handle the generation of different forms of scene representations, including cartoon-like scenes, object layouts corresponding to real images, and synthetic images. Our method is not only competitive when compared with state-of-the-art GAN-based methods using automatic metrics and superior based on human judgments but also has the advantage of producing interpretable results.

研究动机与目标

• 开发一种统一且可解释的框架，用于从自然语言生成多样化的场景表征。
• 解决不依赖生成对抗网络（GAN）的组合式场景生成挑战，因为 GAN 通常会产生不可解释的结果。
• 处理文本描述中的复杂语言线索，如空间关系、间接属性引用和对象依赖关系。
• 通过单一架构并辅以少量修改，实现对抽象场景、语义物体布局和合成图像合成的生成。
• 通过逐步使用注意力机制建模对象与属性预测，提升文本到场景生成过程中的可解释性与解耦性。

提出的方法

• 采用序列到序列架构，使用文本编码器生成输入句子的潜在表征。
• 在每个时间步使用图像编码器对当前生成场景画布的状态进行编码。
• 应用卷积循环模块，以保持场景历史在空间与时间维度上的记忆。
• 使用两个交叉注意力机制：一个用于关注与对象预测相关的文本部分，另一个用于属性预测（如位置、大小、姿态）。
• 集成可选的前景嵌入模块以支持合成图像生成，实现基于语义上下文的图像块级检索。
• 采用多组件损失函数进行端到端训练，损失函数中包含可学习权重，用于对象、位置、姿态、表达、大小、长宽比和外观属性。

实验结果

研究问题

• RQ1 非生成对抗网络（non-GAN）、基于注意力机制的序列到序列模型能否从自然语言描述中生成多样且连贯的组合式场景？
• RQ2 此类模型在处理间接语言线索（如情绪表达暗示面部属性）和空间依赖关系（如“朝……跑”）方面表现如何？
• RQ3 统一框架在抽象场景、真实物体布局和合成图像合成任务上的泛化能力达到何种程度？
• RQ4 与最先进水平的 GAN 基础方法相比，摒弃 GAN 是否能带来更好的可解释性与解耦性？
• RQ5 在不同场景类型下，该模型在自动指标与人工评估中的表现与最先进方法相比如何？

主要发现

• 在抽象场景数据集上，Text2Scene 在人工评估中优于最佳报告结果，显示出与输入描述更强的对齐能力。
• 在 COCO 数据集上，Text2Scene 在布局生成与合成图像生成任务的自动指标上均达到接近最先进水平的性能。
• 人工评估显示，与 SOTA GAN 基础模型（如 SG2IM、HDGAN 和 AttnGAN）相比，Text2Scene 生成的场景更准确、更自然，尤其在捕捉复杂空间与语义关系方面表现更优。
• 定性结果表明，该模型能生成多样化、非重复的场景，同时仍与输入描述高度匹配，表明其具备超越记忆化的鲁棒泛化能力。
• 模型中的注意力机制能清晰关注到语义相关的词语——例如在放置热狗时关注“Mike”和“holding”——证明了其可解释性与语言的语义锚定能力。
• 在合成图像生成中，该模型能成功检索语境上合适的图像块用于拼接，表明其已习得超越简单布局匹配的语义理解能力。