[论文解读] UniTune: Text-Driven Image Editing by Fine Tuning a Diffusion Model on a Single Image

Dani Valevski, Matan Kalman+4 more|arXiv (Cornell University)|Oct 17, 2022

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

UniTune 通过在单张图像上微调单一扩散模型，实现文本驱动的图像编辑，无需掩码或草图即可保持高视觉和语义保真度。它通过结合微调、无分类器指导和噪声注入，实现如更换服装、姿态或风格等富有表现力的编辑，仅需最少的用户输入即可实现高质量的单图编辑。

ABSTRACT

Text-driven image generation methods have shown impressive results recently, allowing casual users to generate high quality images by providing textual descriptions. However, similar capabilities for editing existing images are still out of reach. Text-driven image editing methods usually need edit masks, struggle with edits that require significant visual changes and cannot easily keep specific details of the edited portion. In this paper we make the observation that image-generation models can be converted to image-editing models simply by fine-tuning them on a single image. We also show that initializing the stochastic sampler with a noised version of the base image before the sampling and interpolating relevant details from the base image after sampling further increase the quality of the edit operation. Combining these observations, we propose UniTune, a novel image editing method. UniTune gets as input an arbitrary image and a textual edit description, and carries out the edit while maintaining high fidelity to the input image. UniTune does not require additional inputs, like masks or sketches, and can perform multiple edits on the same image without retraining. We test our method using the Imagen model in a range of different use cases. We demonstrate that it is broadly applicable and can perform a surprisingly wide range of expressive editing operations, including those requiring significant visual changes that were previously impossible.

研究动机与目标

• 实现无需编辑掩码、草图或多重输入的高保真度、文本驱动图像编辑。
• 探索在单张图像上微调预训练扩散模型是否能够在保持视觉和语义细节的同时实现富有表现力的编辑。
• 开发一种在源图像保真度与编辑表现力之间取得平衡的方法，尤其适用于显著的视觉变化。
• 证明无分类器指导和噪声注入可提升编辑质量，同时保持保真度。
• 实现无需重训练即可对同一张图像进行多次编辑，支持在多样化编辑任务中的广泛适用性。

提出的方法

• 在单个图像-提示对上微调预训练的文本到图像扩散模型（如 Imagen），以使模型偏向于生成与输入图像一致的输出。
• 在采样过程中使用无分类器指导，以控制源图像保真度与新文本提示一致性的权衡。
• 使用基础图像的噪声版本初始化随机采样器，以引导去噪过程，从而保留结构和语义细节。
• 在采样后将基础图像中的相关视觉特征（如人脸、纹理）插值到生成输出中，以增强保真度。
• 通过重用微调后的模型实现对同一图像的多次编辑，无需重新训练，支持迭代编辑。
• 利用预训练模型广泛的视觉和语义知识，实现超越简单修复的编辑，包括全局风格迁移和复杂的姿态或物体变换。

Figure 1. UniTune edits preserving visual and semantic fidelity to the user supplied image.

实验结果

研究问题

• RQ1 在单个图像-提示对上微调扩散模型是否能够实现在无需编辑掩码或额外输入情况下的高保真度、文本驱动图像编辑？
• RQ2 微调后的扩散模型在实现显著视觉变化（如更换服装或风格）的同时，能在多大程度上保持视觉和语义细节（如身份、姿态、纹理）？
• RQ3 如何结合无分类器指导和噪声注入，以在图像编辑中平衡保真度与表现力？
• RQ4 同一微调模型是否能够在不重新训练的情况下支持对同一张图像的多次编辑？
• RQ5 在生成单个高质量编辑结果方面存在哪些局限性，尤其是在局部化或基于掩码的编辑中？

主要发现

• UniTune 成功实现了复杂编辑（如更换服装、姿势或风格），同时保持身份和语义结构，即使在需要显著视觉变化的情况下也如此。
• 在进行背景或物体级别编辑时，未编辑区域（如人脸）的视觉保真度保持较高。
• 在单个图像-提示对上进行微调不会导致模型预训练能力的灾难性遗忘，从而支持跨领域的多样化编辑。
• 无分类器指导和噪声注入通过在保真度与表现力之间取得最佳平衡，显著提升了编辑质量，且最优平衡可通过采样参数调节。
• 该方法支持无需重训练即可对同一图像进行多次编辑，展示了其可重用性和可扩展性。
• 尽管在生成小范围或掩码编辑的单个高质量结果方面存在挑战，但该方法在各种应用场景中（包括全局风格迁移和类似漫画的编辑）始终能生成高保真输出。

Figure 2. UniTune maintains high visual fidelity in unaffected areas of the image when making localized edits (e.g. the faces when adding a train to the background), and high semantic fidelity when making global edits (e.g. when changing the style of the entire image).