[论文解读] PFB-Diff: Progressive Feature Blending Diffusion for Text-driven Image Editing

Wenjing Huang, Shikui Tu+1 more|arXiv (Cornell University)|Jun 28, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

PFB-Diff 提出了一种新颖的、无需优化的文本驱动图像编辑方法，通过在预训练扩散模型中采用渐进式特征融合与注意力掩码技术，实现高性能图像编辑。通过在多尺度层级上融合深层特征，并将词语注意力限制在特定区域，该方法在无需微调的情况下，实现了更高的图像保真度、语义一致性和编辑准确性。

ABSTRACT

Diffusion models have showcased their remarkable capability to synthesize diverse and high-quality images, sparking interest in their application for real image editing. However, existing diffusion-based approaches for local image editing often suffer from undesired artifacts due to the pixel-level blending of the noised target images and diffusion latent variables, which lack the necessary semantics for maintaining image consistency. To address these issues, we propose PFB-Diff, a Progressive Feature Blending method for Diffusion-based image editing. Unlike previous methods, PFB-Diff seamlessly integrates text-guided generated content into the target image through multi-level feature blending. The rich semantics encoded in deep features and the progressive blending scheme from high to low levels ensure semantic coherence and high quality in edited images. Additionally, we introduce an attention masking mechanism in the cross-attention layers to confine the impact of specific words to desired regions, further improving the performance of background editing. PFB-Diff can effectively address various editing tasks, including object/background replacement and object attribute editing. Our method demonstrates its superior performance in terms of image fidelity, editing accuracy, efficiency, and faithfulness to the original image, without the need for fine-tuning or training.

研究动机与目标

• 解决无优化扩散模型中图像不一致与图文错位的问题。
• 克服在噪声中间特征中进行像素级融合所导致的伪影与语义不一致问题。
• 通过注意力掩码将文本引导生成限制在用户定义的区域，实现精确的局部化编辑。
• 通过避免微调并利用预训练模型，在保持高效率与泛化能力的同时实现高性能。
• 支持多样化的编辑任务，包括对象替换、背景编辑与属性操控，且用户输入极少。

提出的方法

• 通过从高到低层级的多尺度掩码编辑深层特征图，实现渐进式特征融合，确保语义一致性。
• 将像素级去噪融合替换为特征级融合，通过多层级特征实现生成内容的无缝整合。
• 在交叉注意力层中引入注意力掩码机制，限制特定词语对指定区域的影响。
• 使用冻结的预训练文本到图像扩散模型，推理过程中不进行任何微调或优化。
• 通过在原始图像和文本提示上均使用掩码注意力来条件化去噪过程，充分发挥模型的泛化能力。
• 通过将 PFB 与注意力掩码模块与基础扩散模型解耦，实现即插即用的部署。

实验结果

研究问题

• RQ1 与像素级融合相比，特征级编辑是否能提升语义一致性并减少伪影？
• RQ2 渐进式多尺度特征融合在保持图像结构与生成连贯编辑方面有多有效？
• RQ3 注意力掩码在多大程度上提升了定位精度并减少了编辑区域中非预期对象的生成？
• RQ4 无微调、无优化的方法是否能在图像保真度、对齐度与效率方面达到最先进水平？
• RQ5 在现实编辑场景中，该方法对粗糙或不准确用户提供的掩码有多强的鲁棒性？

主要发现

• 在背景编辑任务中，PFB-Diff 的 CLIP 分数（32.3）与局部 CLIP 分数（30.12）均达到最高，优于基线方法。
• 当应用注意力掩码时，PFB-Diff 将非预期对象（如原主体周围出现的多余马匹）的生成减少 100%。
• 用户研究表明，PFB-Diff 的平均排名得分为 3.7（满分 4 分），显著高于竞争方法，表明人类偏好强烈。
• 即使使用粗糙或不匹配的掩码（例如在鸟形区域生成马匹），PFB-Diff 仍能保持高质量且连贯的结果。
• PFB-Diff 在同时启用 PFB 与注意力掩码时，FID 得分为 13.4，尽管略高于基线，但表现出保真度与对齐度之间的良好权衡。
• 消融实验表明，仅使用 PFB 即可提升融合质量，而注意力掩码对精确定位至关重要。