[论文解读] Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models

Xingqian Xu, Jiayi Guo+4 more|arXiv (Cornell University)|May 25, 2023

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出 Prompt-Free Diffusion，一种无需文本提示即可从参考图像和可选的结构条件生成高质量个性化图像的框架。通过用新型语义上下文编码器（SeeCoder）替代文本编码器，将视觉输入嵌入有意义的表征，该方法在性能上与最先进文本到图像模型相当，同时实现了在多种扩散模型及下游任务（如动漫生成和虚拟试穿）中的无缝复用。

ABSTRACT

Text-to-image (T2I) research has grown explosively in the past year, owing to the large-scale pre-trained diffusion models and many emerging personalization and editing approaches. Yet, one pain point persists: the text prompt engineering, and searching high-quality text prompts for customized results is more art than science. Moreover, as commonly argued: "an image is worth a thousand words" - the attempt to describe a desired image with texts often ends up being ambiguous and cannot comprehensively cover delicate visual details, hence necessitating more additional controls from the visual domain. In this paper, we take a bold step forward: taking "Text" out of a pre-trained T2I diffusion model, to reduce the burdensome prompt engineering efforts for users. Our proposed framework, Prompt-Free Diffusion, relies on only visual inputs to generate new images: it takes a reference image as "context", an optional image structural conditioning, and an initial noise, with absolutely no text prompt. The core architecture behind the scene is Semantic Context Encoder (SeeCoder), substituting the commonly used CLIP-based or LLM-based text encoder. The reusability of SeeCoder also makes it a convenient drop-in component: one can also pre-train a SeeCoder in one T2I model and reuse it for another. Through extensive experiments, Prompt-Free Diffusion is experimentally found to (i) outperform prior exemplar-based image synthesis approaches; (ii) perform on par with state-of-the-art T2I models using prompts following the best practice; and (iii) be naturally extensible to other downstream applications such as anime figure generation and virtual try-on, with promising quality. Our code and models are open-sourced at https://github.com/SHI-Labs/Prompt-Free-Diffusion.

研究动机与目标

• 为解决文本到图像扩散模型中持续存在的提示工程问题，该问题耗时且常不精确。
• 通过用来自参考图像的视觉上下文替代文本提示，消除对文本提示的依赖。
• 开发一种可复用、即插即用的视觉编码器（SeeCoder），可应用于多个预训练的文本到图像扩散模型。
• 实现更精确、可控的图像生成，相比基于提示或基于控制的方法，语义和风格保真度更高。
• 将该框架扩展至实际应用，如动漫角色生成和虚拟试穿，而无需重新训练。

提出的方法

• 提出语义上下文编码器（SeeCoder），一种基于视觉的编码器，可将参考图像转换为语义嵌入，而无需依赖文本。
• 用 SeeCoder 替代预训练文本到图像扩散模型中的 CLIP 基文本编码器，以实现无提示生成。
• 将 SeeCoder 输出的视觉嵌入作为条件输入以引导图像生成，同时可选地结合边缘图或姿态图等结构条件。
• 在 SeeCoder 中采用双分支架构，分别编码全局语义和局部纹理，提升生成质量与控制能力。
• 在大规模图像-参考对数据集上端到端训练 SeeCoder，以对齐视觉特征与期望的生成结果。
• 通过冻结预训练的 SeeCoder 并直接将其插入其他扩散模型中，无需微调，实现零样本部署。

实验结果

研究问题

• RQ1 基于视觉的编码器能否在保持或提升生成质量的前提下，替代文本到图像扩散模型中的文本提示？
• RQ2 视觉上下文编码器（SeeCoder）在多种文本到图像扩散模型上的泛化能力如何？
• RQ3 所提出的框架在个性化图像生成中能否实现与基于提示或基于控制的方法相当或更优的性能？
• RQ4 SeeCoder 在不同领域（如动漫、写实风格、艺术）中可复用的程度如何，是否需要重新训练？
• RQ5 该框架能否在极少修改的情况下扩展至实际下游任务，如虚拟试穿和动漫角色生成？

主要发现

• Prompt-Free Diffusion 在定性和定量评估中均优于先前的基于样本的图像生成方法。
• 即使完全无文本输入，该方法在最优提示工程下仍能达到与最先进文本到图像模型相当的性能。
• SeeCoder 展现出强大的泛化能力，在无需任何微调的情况下，于七种不同的扩散模型（包括 SD1.5、RealisticVision-V2 和 OAM-V2）上均实现了高质量结果。
• 引入空间编码的 SeeCoder-PA 在纹理和风格复现方面优于标准 SeeCoder，表现更优。
• 在图像变换和虚拟试穿任务中，Prompt-Free Diffusion 在纹理质量、色彩一致性和风格保真度方面均超越 Dual-ControlNet。
• 该框架仅通过极少的架构修改，即可实现高质量的动漫角色生成和虚拟试穿，展现出强大的实际应用潜力。