[论文解读] UPainting: Unified Text-to-Image Diffusion Generation with Cross-modal Guidance

Wei Li, Xue Xu+9 more|arXiv (Cornell University)|Oct 28, 2022

Multimodal Machine Learning Applications被引用 11

一句话总结

UPainting 提出了一种统一的文本到图像扩散模型，通过结合预训练的 Transformer 语言模型以理解文本，并利用预训练的图文匹配模型提供跨模态指导，从而提升生成结果的保真度和对齐度。该方法在简单和复杂场景生成任务中均实现了最先进性能，在图像-文本对齐度和保真度方面优于 Stable Diffusion 和 Disco Diffusion 等模型。

ABSTRACT

Diffusion generative models have recently greatly improved the power of text-conditioned image generation. Existing image generation models mainly include text conditional diffusion model and cross-modal guided diffusion model, which are good at small scene image generation and complex scene image generation respectively. In this work, we propose a simple yet effective approach, namely UPainting, to unify simple and complex scene image generation, as shown in Figure 1. Based on architecture improvements and diverse guidance schedules, UPainting effectively integrates cross-modal guidance from a pretrained image-text matching model into a text conditional diffusion model that utilizes a pretrained Transformer language model as the text encoder. Our key findings is that combining the power of large-scale Transformer language model in understanding language and image-text matching model in capturing cross-modal semantics and style, is effective to improve sample fidelity and image-text alignment of image generation. In this way, UPainting has a more general image generation capability, which can generate images of both simple and complex scenes more effectively. To comprehensively compare text-to-image models, we further create a more general benchmark, UniBench, with well-written Chinese and English prompts in both simple and complex scenes. We compare UPainting with recent models and find that UPainting greatly outperforms other models in terms of caption similarity and image fidelity in both simple and complex scenes. UPainting project page \url{https://upainting.github.io/}.

研究动机与目标

• 统一处理简单与复杂场景的文本到图像生成，而这些场景传统上由不同模型分别处理。
• 通过整合预训练图文匹配模型中的跨模态语义与风格信息，提升图像生成质量。
• 解决纯文本编码器在捕捉抽象、艺术性及复杂提示描述方面的局限性。
• 构建一个全面的基准测试集，用于评估多样化提示下的通用文本到图像生成性能。
• 证明将大规模语言模型与跨模态匹配模型结合，可显著增强生成能力。

提出的方法

• UPainting 使用预训练的 Transformer 语言模型作为文本编码器，将自然语言提示嵌入语义表征。
• 通过基于梯度的优化方法，在扩散过程中引入预训练的图文匹配模型（如 CLIP）提供跨模态指导。
• 应用多种指导调度策略，在去噪过程中平衡文本语义与图文对齐度。
• 引入架构改进，以有效将跨模态指导整合到文本条件扩散框架中。
• 扩散模型同时基于文本嵌入和跨模态指导信号进行条件控制，实现语义与视觉保真度的联合优化。
• 提出一种新型训练策略，实现端到端的统一生成流程学习，提升对齐度与细节表现。

实验结果

研究问题

• RQ1 统一的扩散模型能否在高保真度与高对齐度下有效生成简单与复杂场景的图像？
• RQ2 将大规模语言模型与跨模态匹配模型结合，如何改善文本到图像生成？
• RQ3 跨模态指导对复杂场景生成中图像质量与提示遵循度有何影响？
• RQ4 单一模型能否超越专门用于简单与复杂场景的模型？
• RQ5 所提方法在泛化能力与鲁棒性方面，与 COCO 和 DrawBench 等现有基准相比表现如何？

主要发现

• 在 COCO 数据集上，UPainting 的 Fréchet Inception Distance (FID) 得分为 8.34，显著优于 Stable Diffusion 的 14.24。
• 人工评估显示，评分者在图像-文本对齐度与图像保真度方面更偏好 UPainting，尤其在复杂场景提示下表现更优。
• 在新构建的 UniBench 基准测试中，该模型在简单与复杂场景生成任务中均表现出色。
• 将预训练语言模型与跨模态匹配模型结合，可提升样本保真度，并更好地匹配复杂、抽象或艺术性提示。
• 在 UniBench 上，UPainting 在所有评估指标（包括标题相似度与美学质量）上均优于强基线模型如 Disco Diffusion 和 Stable Diffusion。
• 消融研究证实，跨模态指导对提升生成质量至关重要，尤其在对语言细微差别敏感的复杂场景中。