[论文解读] SpaText: Spatio-Textual Representation for Controllable Image Generation

Omri Avrahami, Thomas Hayes+7 more|arXiv (Cornell University)|Nov 25, 2022

Generative Adversarial Networks and Image Synthesis参考文献 85被引用 7

一句话总结

SpaText 提出了一种新颖的时空文本表征方法，用于可控的文本到图像生成，使用户能够通过稀疏分割图上的自由形式文本提示来指定物体形状和属性。通过利用基于 CLIP 的嵌入，并将无分类器指导扩展至多条件设置，该方法在布局和内容控制方面实现了最先进水平的图像生成质量，其有效性通过指标和用户研究得到验证。

ABSTRACT

Recent text-to-image diffusion models are able to generate convincing results of unprecedented quality. However, it is nearly impossible to control the shapes of different regions/objects or their layout in a fine-grained fashion. Previous attempts to provide such controls were hindered by their reliance on a fixed set of labels. To this end, we present SpaText - a new method for text-to-image generation using open-vocabulary scene control. In addition to a global text prompt that describes the entire scene, the user provides a segmentation map where each region of interest is annotated by a free-form natural language description. Due to lack of large-scale datasets that have a detailed textual description for each region in the image, we choose to leverage the current large-scale text-to-image datasets and base our approach on a novel CLIP-based spatio-textual representation, and show its effectiveness on two state-of-the-art diffusion models: pixel-based and latent-based. In addition, we show how to extend the classifier-free guidance method in diffusion models to the multi-conditional case and present an alternative accelerated inference algorithm. Finally, we offer several automatic evaluation metrics and use them, in addition to FID scores and a user study, to evaluate our method and show that it achieves state-of-the-art results on image generation with free-form textual scene control.

研究动机与目标

• 为解决文本到图像扩散模型中缺乏细粒度控制的问题，即用户无法精确定义物体形状、位置或属性。
• 克服先前方法（如 Make-A-Scene）中固定标签分割图的局限性，这些方法限制了泛化能力并需要密集标注。
• 通过允许用户对选定图像区域提供自由形式的自然语言描述，实现开放词汇、稀疏且用户友好的控制。
• 通过提示拼接技巧，弥合训练数据（全局场景描述）与推理阶段（局部提示）之间的领域差距。
• 将无分类器指导扩展至多条件设置，以改善提示与生成图像之间的对齐。

提出的方法

• 提出一种基于 CLIP 的时空表征方法，利用先验模型将用户提供的图像区域自由形式文本描述映射到 CLIP 嵌入空间。
• 在训练过程中使用预训练的全景分割模型提取局部图像区域，随后通过 CLIP 图像编码器进行编码。
• 在推理阶段，使用 CLIP 文本编码器嵌入用户提供的局部文本提示，并通过学习到的先验模型投影到图像嵌入空间。
• 引入提示拼接技巧：在推理时将局部提示与全局文本提示结合，以减轻训练与推理之间的分布差距。
• 通过同时基于全局和多个局部文本嵌入进行条件控制，将无分类器指导扩展至多条件设置。
• 采用加速推理算法，以提升多条件扩散采样过程的效率。

实验结果

研究问题

• RQ1 基于 CLIP 的时空表征能否实现在文本到图像生成中对物体布局和属性的细粒度、开放词汇控制？
• RQ2 在分割掩码上使用稀疏、自由形式的文本提示，是否相比固定标签或密集标签方法能提升控制能力和图像质量？
• RQ3 在推理阶段进行提示拼接在多大程度上缓解了训练数据与用户输入之间的领域偏移？
• RQ4 在多条件设置中，扩展的无分类器指导在对齐生成图像与全局及局部提示方面的有效性如何？
• RQ5 所提出的方法是否能在自动指标和人工评估下实现可控图像生成的最先进性能？

主要发现

• 提示拼接技巧显著提升了局部提示与生成图像之间的对齐效果，如定性样本和定量指标所示。
• 该方法在自由形式文本场景控制的图像生成任务中达到最先进性能，无论在自动指标还是用户研究中均优于基线方法（包括 Make-A-Scene 和 NTLB）。
• 用户研究证实，与现有方法相比，SpaText 生成的图像更符合用户在物体布局和属性方面的意图。
• 该模型对未在固定标签集合中的新物体类型具有良好的泛化能力，证明了开放词汇方法相对于封闭词汇方法的优势。
• 扩展的无分类器指导机制实现了有效的多条件去噪，提升了生成图像的保真度和对提示的遵循程度。
• 自动评估指标（包括 FID 和新的场景特定指标）验证了 SpaText 在生成多样化、准确且可控图像方面的优越性。