[论文解读] Prompt-In-Prompt Learning for Universal Image Restoration

Zilong Li, Yiming Lei+3 more|arXiv (Cornell University)|Dec 8, 2023

Image Enhancement Techniques被引用 6

一句话总结

本论文提出了一种用于通用图像复原的提示词嵌套（Prompt-in-Prompt, PIP）学习方法，引入了一种双提示框架，通过提示词到提示词的交互模块，将退化感知提示（高层级）与基础复原提示（低层级）相结合。一种选择性提示词到特征的交互机制进一步增强了特征调制能力，实现了一个轻量化、即插即用的模块，显著提升了去噪、去雨、去雾、去模糊和低光照增强等多种任务的性能，同时增强了模型的鲁棒性、可解释性与效率。

ABSTRACT

Image restoration, which aims to retrieve and enhance degraded images, is fundamental across a wide range of applications. While conventional deep learning approaches have notably improved the image quality across various tasks, they still suffer from (i) the high storage cost needed for various task-specific models and (ii) the lack of interactivity and flexibility, hindering their wider application. Drawing inspiration from the pronounced success of prompts in both linguistic and visual domains, we propose novel Prompt-In-Prompt learning for universal image restoration, named PIP. First, we present two novel prompts, a degradation-aware prompt to encode high-level degradation knowledge and a basic restoration prompt to provide essential low-level information. Second, we devise a novel prompt-to-prompt interaction module to fuse these two prompts into a universal restoration prompt. Third, we introduce a selective prompt-to-feature interaction module to modulate the degradation-related feature. By doing so, the resultant PIP works as a plug-and-play module to enhance existing restoration models for universal image restoration. Extensive experimental results demonstrate the superior performance of PIP on multiple restoration tasks, including image denoising, deraining, dehazing, deblurring, and low-light enhancement. Remarkably, PIP is interpretable, flexible, efficient, and easy-to-use, showing promising potential for real-world applications. The code is available at https://github.com/longzilicart/pip_universal.

研究动机与目标

• 为解决图像复原任务中特定深度学习模型的高存储成本与灵活性不足问题。
• 实现单一模型在无需微调的情况下，泛化于多种退化类型（如噪声、雨水、雾霾、模糊、低光照）的能力。
• 通过显式建模高层退化概念与低层复原特征，提升模型的可解释性与可控性。
• 开发一种轻量化、即插即用的模块，增强现有复原架构，且无需修改网络结构。
• 通过学习到的提示词实现有效、选择性的特征调制，以提升特定任务的复原性能。

提出的方法

• 提出两种新型提示词：一种是退化感知提示词，用于编码高层退化概念（如“噪声”、“雨”），另一种是基础复原提示词，用于捕捉低层纹理与精细结构。
• 设计一种提示词到提示词（P2P）交互模块，将退化感知提示词与基础复原提示词融合为统一的、通用的复原提示词。
• 实现一种选择性提示词到特征的交互模块，基于通用提示词动态调制与退化相关的特征，提升任务特定的特征对齐能力。
• 使用对比学习损失（$\mathcal{L}_{\text{ddl}}$）与阈值角度 $\theta_{\text{thre}}$，强制退化感知提示词之间的语义分离，防止提示词纠缠。
• 端到端训练提示词，采用联合损失 $\mathcal{L} = \alpha \mathcal{L}_{\text{ddl}} + (1-\alpha) \mathcal{L}_{\text{recon}}$，在提示词解耦与重建保真度之间取得平衡。
• 将 PIP 作为即插即用模块部署在现有复原模型（如 Restormer）之上，无需对主干网络进行微调。

实验结果

研究问题

• RQ1 统一的提示词框架是否能在无需任务特定微调的情况下，有效泛化于多种图像复原任务？
• RQ2 如何联合建模高层退化概念与低层复原特征，以提升复原性能？
• RQ3 提示词解耦在多大程度上增强了模型在不同退化类型下的泛化能力与鲁棒性？
• RQ4 选择性提示词到特征的交互机制是否能改善特征调制与复原质量？
• RQ5 PIP 的即插即用设计在效率、可解释性与与现有模型的兼容性方面有何影响？

主要发现

• PIP 在五项图像复原任务（去噪、去雨、去雾、去模糊、低光照增强）中均达到最先进性能，且在所有基线模型上保持一致的性能提升。
• 消融实验表明，选择性提示词到特征的交互模块通过聚焦于与退化相关的特征，显著提升了性能，尤其在结合提示词嵌套学习时效果更佳。
• 在 $\mathcal{L}_{\text{ddl}}$ 中设置阈值角度 $\theta_{\text{thre}} = 90^\circ$ 时性能最佳，相比 $\theta_{\text{thre}} = 0^\circ$ 提升 0.3 dB，表明解耦提示词能有效增强复原效果。
• t-SNE 可视化显示，通用复原提示词按退化类型良好聚类，证实了模型的可解释性及其学习不同退化概念的能力。
• 使用预训练的 CLIP 文本编码器初始化退化感知提示词，性能优于无约束设置，但仍逊于本研究所提出的 $\theta_{\text{thre}} = 90^\circ$ 配置。
• 即插即用设计使 PIP 能够以极低开销增强现有模型（如 Restormer），展现出高效率与广泛适用性。