[论文解读] Region-Aware Diffusion for Zero-shot Text-driven Image Editing

Nisha Huang, Fan Tang+3 more|arXiv (Cornell University)|Feb 23, 2023

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

该论文提出了一种区域感知扩散模型（RDM），用于零样本、文本驱动的图像编辑，能够基于自然语言提示自动定位并替换图像中的特定实体。通过结合潜在空间扩散、无分类器指导，以及新颖的跨模态实体校准和非编辑区域保持组件，RDM在保持未编辑内容的同时，实现了高保真度、语义一致的编辑，其在视觉质量、和谐性以及图文对齐方面优于先前方法。

ABSTRACT

Image manipulation under the guidance of textual descriptions has recently received a broad range of attention. In this study, we focus on the regional editing of images with the guidance of given text prompts. Different from current mask-based image editing methods, we propose a novel region-aware diffusion model (RDM) for entity-level image editing, which could automatically locate the region of interest and replace it following given text prompts. To strike a balance between image fidelity and inference speed, we design the intensive diffusion pipeline by combing latent space diffusion and enhanced directional guidance. In addition, to preserve image content in non-edited regions, we introduce regional-aware entity editing to modify the region of interest and preserve the out-of-interest region. We validate the proposed RDM beyond the baseline methods through extensive qualitative and quantitative experiments. The results show that RDM outperforms the previous approaches in terms of visual quality, overall harmonization, non-editing region content preservation, and text-image semantic consistency. The codes are available at https://github.com/haha-lisa/RDM-Region-Aware-Diffusion-Model.

研究动机与目标

• 实现无需用户绘制掩码或区域标注的零样本、文本驱动图像编辑。
• 解决仅通过文本提示自动定位并替换图像中特定实体的挑战。
• 在实体替换过程中保持高图像保真度，并保护非编辑区域的内容。
• 提升文本提示与生成图像编辑之间的语义一致性。

提出的方法

• 提出一种在预训练自编码器潜在空间中运行的区域感知扩散模型（RDM），以加速推理并降低计算成本。
• 引入一种跨模态实体校准组件，将文本提示与相关图像标记对齐，以识别目标编辑区域。
• 在扩散过程中采用无分类器指导，以增强文本-图像语义对齐和生成质量。
• 整合非编辑区域保持（NERP）组件，以维持目标区域外的内容完整性。
• 采用混合流水线，结合潜在扩散与增强方向引导，以平衡速度与保真度。
• 利用 CLIP 实现跨模态对齐，并支持通过短语级提示（如“A → B”）进行编辑。

实验结果

研究问题

• RQ1 扩散模型是否能仅通过文本提示自动定位并编辑图像中的特定实体，而无需用户绘制掩码？
• RQ2 如何在保护非编辑区域内容的同时，提升图像保真度和编辑质量？
• RQ3 无分类器指导在多大程度上增强了文本提示与生成图像编辑之间的语义一致性？
• RQ4 跨模态实体校准组件如何影响定位准确率和语义对齐？
• RQ5 NERP 组件对未编辑区域的内容保护和伪影减少有何影响？

主要发现

• 当启用 NERP 组件时，RDM 的 LPIPS 得分为 0.039，显著低于移除该组件时的 0.143，表明在非编辑区域中内容保护能力更强。
• 人工偏好评估显示，在 2520 次比较中，RDM 获得了 78.5% 的偏好率，表明用户对其编辑质量和真实感具有强烈偏好。
• 通过定性和定量实验验证，该模型在视觉质量、整体和谐性以及图文语义一致性方面均优于基线方法。
• 采用尺度 s=5 的无分类器指导显著提升了编辑质量，而未使用该方法的结果则明显较差。
• 失败案例出现在编辑目标在形状上差异显著时（例如鱼变为水母），或 CLIP 倾向于其他解释时（例如杯子材质变化），表明在结构和语义泛化方面仍存在局限性。
• 跨模态实体校准组件在中等 K 值时表现最佳，平衡了定位准确率与语义一致性。