[论文解读] Priors in Deep Image Restoration and Enhancement: A Survey

Yunfan Lu, Yiqi Lin+5 more|arXiv (Cornell University)|Jun 4, 2022

Advanced Image Processing Techniques被引用 4

一句话总结

本综述首次对深度图像复原与增强中的先验知识进行了全面分析，将先验分为结构、统计、语义和基于深度学习的先验四类。它提出了一个分层分类体系，讨论了各类先验的原理与应用，并指出了未来研究方向——尤其是利用CLIP和Stable Diffusion等大规模基础模型——作为推动该领域发展的关键驱动力。

ABSTRACT

Image restoration and enhancement is a process of improving the image quality by removing degradations, such as noise, blur, and resolution degradation. Deep learning (DL) has recently been applied to image restoration and enhancement. Due to its ill-posed property, plenty of works have been explored priors to facilitate training deep neural networks (DNNs). However, the importance of priors has not been systematically studied and analyzed by far in the research community. Therefore, this paper serves as the first study that provides a comprehensive overview of recent advancements in priors for deep image restoration and enhancement. Our work covers five primary contents: (1) A theoretical analysis of priors for deep image restoration and enhancement; (2) A hierarchical and structural taxonomy of priors commonly used in the DL-based methods; (3) An insightful discussion on each prior regarding its principle, potential, and applications; (4) A summary of crucial problems by highlighting the potential future directions, especially adopting the large-scale foundation models as prior, to spark more research in the community; (5) An open-source repository that provides a taxonomy of all mentioned works and code links.

研究动机与目标

• 系统分析并分类深度学习图像复原与增强中所使用的先验知识。
• 建立一个分层且结构化的先验分类体系，包括结构、统计、语义和基于深度学习的先验。
• 深入讨论各类先验的原理、优势及其应用场景。
• 识别关键挑战与未来研究方向，特别是将大规模基础模型作为先验进行整合。
• 发布一个开源代码库，包含所有参考文献的分类体系及代码链接，以确保可复现性。

提出的方法

• 提出一个四类先验分类体系：结构、统计、语义和基于深度学习的先验，共包含十个子类。
• 在病态图像复原问题背景下，分析先验的理论基础。
• 回顾传统图像处理中的相关工作，并将其原理映射到深度学习框架中。
• 研究预训练生成对抗网络（GAN）及潜在空间优化在图像生成与复原中的应用。
• 探索大规模基础模型（如CLIP、Stable Diffusion、SAM）作为语义先验，在零样本和少样本图像复原中的潜力。
• 提出一种基于多模态输入（如文本指令）的交互式图像增强框架，利用Visual ChatGPT等模型实现。

实验结果

研究问题

• RQ1 如何在基于深度学习的图像复原与增强中系统性地分类和组织先验？
• RQ2 结构、统计、语义和基于深度学习的先验的底层原理及其实际应用场景是什么？
• RQ3 如何利用预训练的GAN和潜在码搜索来提升图像复原性能？
• RQ4 大规模基础模型在提升图像复原中的语义理解力与保真度方面发挥什么作用？
• RQ5 多模态、基于指令的交互界面如何提升图像复原任务的准确性与用户个性化程度？

主要发现

• 本综述建立了一个涵盖超过三十种具体先验的全面分层分类体系，涵盖四大主要类别，实现了系统性比较与应用。
• 源自经典图像处理的结构与统计先验，在整合进深度学习框架后，依然表现出极高的有效性。
• 基于预训练模型（如CLIP和SAM）提取的语义先验，显著提升了图像去雾和超分辨率等任务中的零样本性能。
• Stable Diffusion和Visual ChatGPT等基础模型支持交互式、文本引导的图像复原，使用户可根据意图进行迭代优化。
• 利用预训练生成器进行GAN反演，通过搜索潜在码可生成高质量图像，为监督训练提供一种数据高效替代方案。
• 将大规模基础模型与图像复原任务相结合的研究尚处于初级阶段，是未来研究的重要前沿，具有显著的性能提升潜力。