[论文解读] SingleInsert: Inserting New Concepts from a Single Image into Text-to-Image Models for Flexible Editing

Zijie Wu, Chaohui Yu+3 more|arXiv (Cornell University)|Oct 12, 2023

Video Analysis and Summarization被引用 4

一句话总结

SingleInsert 提出了一种两阶段方法，用于以高视觉保真度和灵活编辑的方式，将单张图像中的新概念插入文本到图像扩散模型中。通过使用前景感知反演、背景解耦以及语义损失以防止语言漂移，该方法实现了准确的概念编辑、新视角合成以及无需联合训练的多概念组合。

ABSTRACT

Recent progress in text-to-image (T2I) models enables high-quality image generation with flexible textual control. To utilize the abundant visual priors in the off-the-shelf T2I models, a series of methods try to invert an image to proper embedding that aligns with the semantic space of the T2I model. However, these image-to-text (I2T) inversion methods typically need multiple source images containing the same concept or struggle with the imbalance between editing flexibility and visual fidelity. In this work, we point out that the critical problem lies in the foreground-background entanglement when learning an intended concept, and propose a simple and effective baseline for single-image I2T inversion, named SingleInsert. SingleInsert adopts a two-stage scheme. In the first stage, we regulate the learned embedding to concentrate on the foreground area without being associated with the irrelevant background. In the second stage, we finetune the T2I model for better visual resemblance and devise a semantic loss to prevent the language drift problem. With the proposed techniques, SingleInsert excels in single concept generation with high visual fidelity while allowing flexible editing. Additionally, SingleInsert can perform single-image novel view synthesis and multiple concepts composition without requiring joint training. To facilitate evaluation, we design an editing prompt list and introduce a metric named Editing Success Rate (ESR) for quantitative assessment of editing flexibility. Our project page is: https://jarrentwu1031.github.io/SingleInsert-web/

研究动机与目标

• 解决将单张图像中的新概念插入预训练文本到图像模型时出现的过拟合和编辑性差的问题。
• 克服嵌入学习中前景与背景纠缠导致的编辑灵活性和视觉保真度下降问题。
• 在微调过程中防止语言漂移，即类别嵌入向源图像偏移，从而降低泛化能力。
• 实现在无需联合训练的情况下，从独立学习的嵌入中进行新视角合成和多概念组合。
• 提供一个定量评估框架，使用编辑提示列表和新提出的指标 Editing Success Rate (ESR)，以评估编辑灵活性。

提出的方法

• 使用图像编码器将单张源图像反演为文本嵌入，仅在通过预训练模型（GroundingDINO 和 SAM）获得的前景掩码内进行优化。
• 引入前景损失，将优化限制在前景区域，确保嵌入仅捕捉目标概念。
• 应用背景损失，最小化学习到的嵌入对背景去噪过程的影响，实现概念与背景的解耦。
• 在微调过程中实施语义损失，以保持原始类别嵌入对去噪的影响，防止语言漂移。
• 采用两阶段训练方案：首先，使用前景损失和背景损失反演图像；其次，使用语义损失微调 T2I 模型，以提升视觉保真度。
• 利用 T2I 模型中的预训练视觉先验，生成合理的新型视角并组合多个概念，而无需重新训练。

实验结果

研究问题

• RQ1 如何使单张图像概念插入方法在保持高视觉保真度的同时具备强大的编辑灵活性？
• RQ2 嵌入学习中前景与背景纠缠的原因是什么，如何加以缓解？
• RQ3 如何在微调过程中防止语言漂移，以保持类别先验知识和编辑灵活性？
• RQ4 是否可以仅通过独立学习的单个概念实现新视角合成和多概念组合，而无需联合训练？
• RQ5 哪些定量指标能够有效评估概念插入方法的编辑灵活性？

主要发现

• 通过使用专门的背景损失将学习到的概念与背景解耦，SingleInsert 实现了高视觉保真度和强大的编辑灵活性。
• 语义损失有效防止了语言漂移，保持了原始类别嵌入对去噪的影响，从而在微调过程中维持了编辑能力。
• 在所提方法下，仅通过单张图像即可实现新视角合成，利用 T2I 模型的内部先验生成合理的新型视角。
• 多个概念（如面部、发型、服装）可无需联合训练即被组合在一起，展示了对独立学习嵌入的组合泛化能力。
• 所提出的 Editing Success Rate (ESR) 指标，结合精心筛选的编辑提示列表，能够可靠地评估编辑灵活性。
• 消融实验确认，前景损失、背景损失和语义损失三者缺一不可，才能实现保真度与编辑灵活性之间的最佳平衡。