[论文解读] Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation

Narek Tumanyan, Michal Geyer+2 more|arXiv (Cornell University)|Nov 22, 2022

Generative Adversarial Networks and Image Synthesis被引用 13

一句话总结

本文提出了一种即插即用的文本驱动图像到图像翻译框架，利用预训练的文本到图像扩散模型，无需微调。通过将引导图像的空间特征和自注意力图注入扩散过程，该方法在保持高保真度结构的同时，能准确对齐复杂文本提示，其布局一致性与视觉质量优于现有方法（如P2P）。

ABSTRACT

Large-scale text-to-image generative models have been a revolutionary breakthrough in the evolution of generative AI, allowing us to synthesize diverse images that convey highly complex visual concepts. However, a pivotal challenge in leveraging such models for real-world content creation tasks is providing users with control over the generated content. In this paper, we present a new framework that takes text-to-image synthesis to the realm of image-to-image translation -- given a guidance image and a target text prompt, our method harnesses the power of a pre-trained text-to-image diffusion model to generate a new image that complies with the target text, while preserving the semantic layout of the source image. Specifically, we observe and empirically demonstrate that fine-grained control over the generated structure can be achieved by manipulating spatial features and their self-attention inside the model. This results in a simple and effective approach, where features extracted from the guidance image are directly injected into the generation process of the target image, requiring no training or fine-tuning and applicable for both real or generated guidance images. We demonstrate high-quality results on versatile text-guided image translation tasks, including translating sketches, rough drawings and animations into realistic images, changing of the class and appearance of objects in a given image, and modifications of global qualities such as lighting and color.

研究动机与目标

• 实现无需模型微调或再训练的高保真度文本引导图像到图像翻译。
• 解决在使用非文本引导输入生成图像时，文本到图像扩散模型缺乏结构控制的问题。
• 探究扩散模型内部的空间特征与自注意力机制如何编码结构信息以用于图像翻译。
• 开发一种适用于多样化引导输入（包括真实图像、草图和动画）的统一框架。
• 在保持引导图像布局与忠实遵循目标文本提示之间实现更优的平衡。

提出的方法

• 使用DDIM反演从引导图像中提取空间特征与自注意力图。
• 在生成过程中，将这些特征直接注入预训练文本到图像模型的潜在扩散过程。
• 通过保持来自引导图像的特征语义与注意力模式，实现空间结构的保留。
• 仅使用预训练模型的内部表征——无需额外训练或参数更新。
• 在扩散模型的潜在空间中操作，于多个去噪步骤修改特征以引导生成。
• 利用模型内部的注意力机制，在翻译过程中维持细粒度的结构关联。

Figure 2 : Plug-and-play Diffusion Features. (a) Our framework takes as input a guidance image and a text prompt describing the desired translation; the guidance image is inverted to initial noise ${\boldsymbol{x}}^{G}_{T}$ , which is then progressively denoised using DDIM sampling. During this proc

实验结果

研究问题

• RQ1 预训练的文本到图像扩散模型的中间空间特征中，结构与语义布局信息是如何编码的？
• RQ2 能否在不微调的情况下，利用引导图像的空间特征与自注意力图来控制生成图像的结构？
• RQ3 与交叉注意力操作（如P2P）相比，特征注入在图像翻译过程中对布局保真度的提升效果如何？
• RQ4 同时注入空间特征与自注意力对结构保留与视觉质量的影响是什么？
• RQ5 该方法在哪些场景下会失效？依赖特征空间中的语义对应关系存在哪些局限性？

主要发现

• 定量评估显示，该方法在多编辑场景下显著优于P2P，结构保留能力更强，表现为更低的自相似性距离。
• 同时注入空间特征与自注意力是实现高保真度布局迁移的关键；若任一组件缺失，结构保真度将显著下降。
• 在定性与定量指标上，该框架均优于基线方法（如Text2LIVE、DiffusionCLIP与FlexIT），尤其在处理对象类别与风格变化等结构改变时表现更优。
• 即使在复杂编辑（如将草图转换为逼真图像，或改变对象身份与外观）场景下，该方法仍能保持高视觉质量与语义一致性。
• DDIM反演可有效编码引导图像，但偶尔会在无纹理图像中捕捉到低频外观伪影。
• 当引导图像与目标文本之间缺乏语义对应关系时（如任意颜色分割掩码），该方法会失效。

Figure 3 : Visualising diffusion features. We used a collection of 20 humanoid images (real and generated), and extracted spatial features from different decoder layers, at roughly 50% of the generation process ( $t=540$ ). For each block, we applied PCA on the extracted features across all images a