[论文解读] TextIR: A Simple Framework for Text-based Editable Image Restoration

Yunpeng Bai, Cairong Wang+4 more|arXiv (Cornell University)|Feb 28, 2023

Advanced Image Processing Techniques被引用 7

一句话总结

TextIR 提出了一种简单、基于文本引导的图像修复框架，利用 CLIP 的跨模态特征兼容性，将文本描述与退化图像特征融合，实现可控修复。该方法在图像修复、超分辨率和着色任务中均取得了最先进性能，且无需微调文本-图像配对数据，实现了在多种修复任务中灵活、用户导向的编辑。

ABSTRACT

Most existing image restoration methods use neural networks to learn strong image-level priors from huge data to estimate the lost information. However, these works still struggle in cases when images have severe information deficits. Introducing external priors or using reference images to provide information also have limitations in the application domain. In contrast, text input is more readily available and provides information with higher flexibility. In this work, we design an effective framework that allows the user to control the restoration process of degraded images with text descriptions. We use the text-image feature compatibility of the CLIP to alleviate the difficulty of fusing text and image features. Our framework can be used for various image restoration tasks, including image inpainting, image super-resolution, and image colorization. Extensive experiments demonstrate the effectiveness of our method.

研究动机与目标

• 为解决现有图像修复方法在处理严重图像退化时的局限性，特别是在强图像先验失效的情况下。
• 通过引入文本描述作为外部引导，而非依赖参考图像或领域特定先验，提升图像修复的可控性与灵活性。
• 构建一个统一的框架，适用于多种修复任务（如修复、超分辨率和着色），采用单一的文本条件架构。
• 探索在不需额外微调配对文本-图像数据的前提下，利用 CLIP 预训练的多模态嵌入空间实现文本与图像特征的有效融合。

提出的方法

• TextIR 使用 CLIP 的冻结图像编码器和文本编码器，分别提取退化图像和用户提供的文本描述的特征。
• 它利用 CLIP 的共享嵌入空间对齐文本与图像特征，实现在特征融合过程中的语义兼容性。
• 通过可学习的适配器模块，将退化图像特征与文本条件特征进行融合，保留图像身份的同时引导修复过程。
• 该方法端到端训练，无需额外的文本-图像配对标注，完全依赖预训练的 CLIP 编码器。
• 一个可学习的缩放因子 's' 控制退化图像与文本先验的影响程度，可自适应退化严重程度。
• 通过插值 CLIP 对真实图像和目标文本的嵌入，实现细粒度、连续的图像编辑。

实验结果

研究问题

• RQ1 在传统先验失效的严重退化情况下，文本描述能否有效引导图像修复？
• RQ2 如何有效融合文本与图像特征，实现在无需配对文本-图像数据集的前提下实现可控修复？
• RQ3 基于 CLIP 的单一统一框架能否支持多种图像修复任务，包括修复、超分辨率和着色？
• RQ4 与基于参考图像或先验的方法相比，文本引导在多大程度上提升了修复质量与可控性？

主要发现

• 在图像修复任务中，TextIR 的 PSNR 达到 29.83，显著优于 Blended-Diffusion（23.16），SSIM（0.932 vs. 0.901）更高，LPIPS（0.068 vs. 0.226）更低。
• 在图像着色任务中，TextIR 在所有指标上均优于 L-CoDe：PSNR（26.70 vs. 24.965）、SSIM（0.923 vs. 0.916）和 LPIPS（0.124 vs. 0.169）。
• 在超分辨率任务中，TextIR 在 Multi-Modal-CelebA-HQ 数据集上取得 PSNR 27.41 和 SSIM 0.784，优于 GPEN（26.82 和 0.704）。
• 消融实验表明，缩放因子 's' 有效调节退化图像与文本先验的影响，严重退化时文本作用更强。
• CLIP 嵌入之间的插值可实现平滑、连续的图像编辑，证明了对修复强度的细粒度控制。
• TextIR 通过退化后再恢复的方式实现有效的基于文本的图像编辑，相比 StyleCLIP 等全局编辑方法，能更好地保持图像身份。