[论文解读] Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding

Chitwan Saharia, William Chan+12 more|arXiv (Cornell University)|May 23, 2022

Multimodal Machine Learning Applications被引用 2,103

一句话总结

Imagen 使用冻结的大型语言模型编码器与扩散模型实现照片级真实感的文本到图像生成和强文本-图像对齐，在 COCO 和 DrawBench 上优于之前的方法。它引入动态阈值化和 DrawBench 作为评估标准。

ABSTRACT

We present Imagen, a text-to-image diffusion model with an unprecedented degree of photorealism and a deep level of language understanding. Imagen builds on the power of large transformer language models in understanding text and hinges on the strength of diffusion models in high-fidelity image generation. Our key discovery is that generic large language models (e.g. T5), pretrained on text-only corpora, are surprisingly effective at encoding text for image synthesis: increasing the size of the language model in Imagen boosts both sample fidelity and image-text alignment much more than increasing the size of the image diffusion model. Imagen achieves a new state-of-the-art FID score of 7.27 on the COCO dataset, without ever training on COCO, and human raters find Imagen samples to be on par with the COCO data itself in image-text alignment. To assess text-to-image models in greater depth, we introduce DrawBench, a comprehensive and challenging benchmark for text-to-image models. With DrawBench, we compare Imagen with recent methods including VQ-GAN+CLIP, Latent Diffusion Models, and DALL-E 2, and find that human raters prefer Imagen over other models in side-by-side comparisons, both in terms of sample quality and image-text alignment. See https://imagen.research.google/ for an overview of the results.

研究动机与目标

• 证明冻结并扩展大型文本编码器比单纯扩大扩散模型规模在文本到图像保真度和对齐方面带来更大提升。
• 证明在文本数据上预训练的大型冻结语言模型可以作为图像合成的有效文本编码器。
• 引入采样和架构技巧，使高引导权重的扩散过程实现照片级真实感。
• 提出 DrawBench 作为一个全面的基准，用于评估文本到图像模型超越 COCO 的能力。
• 评估大规模文本到图像模型及数据使用的伦理考量和社会影响。

提出的方法

• 使用冻结的文本编码器（预训练的 T5 变体、BERT、CLIP）将输入文本映射到嵌入向量，同时保持编码器权重固定。
• 采用级联扩散管线：一个以文本嵌入为条件的 64x64 基模型，随后是两个超分辨扩散模型（64x64→256x256 和 256x256→1024x1024）。
• 在高引导权重下应用无分类器引导，同时结合动态阈值化以避免饱和并提升保真度。
• 引入 Efficient U-Net 以提高扩散模型的内存效率和收敛速度。
• 在超分阶段引入噪声条件化增强，以提高对工件的鲁棒性并实现更强的文本条件。
• 使用 COCO FID-30K 和 CLIP 对齐度量进行评估，同时进行大规模的人类评测和 DrawBench 基准评估。

实验结果

研究问题

• RQ1 在文本数据上预训练的冻结文本编码器的规模扩大是否比扩散模型规模的增加在图像保真度和文本-图像对齐方面带来更大收益？
• RQ2 在动态阈值下是否可以使用高引导权重与扩散模型结合，以在不牺牲保真度的前提下提升照片级真实感？
• RQ3 大型预训练语言模型在驱动文本到图像合成方面相较于多模态文本编码器（如 CLIP）有何差异？
• RQ4 架构选择（Efficient U-Net、跨注意力文本条件）对基于扩散的文本到图像生成有何影响？
• RQ5 像 DrawBench 这样的全面基准如何揭示文本到图像模型在超越 COCO 的能力与弱点？

主要发现

• 文本编码器规模的扩大在文本-图像对齐和图像保真度上均带来持续改进；T5-XXL 获得最佳结果。
• 文本编码器规模对提升幅度的影响大于增加扩散模型规模。
• 具有大引导权重的动态阈值化显著提升了照片级真实感和对齐度，相较静态或无阈值化效果更好。
• 超分阶段的噪声条件化增强对于强文本条件和高质量上采样至关重要。
• Imagen 在零样本 COCO FID 上达到 7.27 的 STATE-OF-THE-ART，超过 GLIDE 和 DALL-E 2，且人工评测与 COCO 标注的对齐度相当。
• DrawBench 评估显示 Imagen 在保真度和文本-图像对齐方面均优于竞争方法，人工评测在各类目上偏好 Imagen。
• 使用大型冻结语言模型作为文本编码器用于文本到图像生成是有效的，且跨注意力条件相比更简单的池化方法具有优势。