[论文解读] Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model

Chunming He, Alex Chengyu Fang+7 more|arXiv (Cornell University)|Nov 20, 2023

Image Enhancement Techniques被引用 10

一句话总结

Reti-Diff 提出一个以 Retinex 指导的潜在扩散框架，用于照明退化图像的复原，将基于 Retinex 的潜在扩散模型与 Retinex 指导的 transformer 结合，以提升细节、色彩校正，以及在 IDIR 任务中的鲁棒性。

ABSTRACT

Illumination degradation image restoration (IDIR) techniques aim to improve the visibility of degraded images and mitigate the adverse effects of deteriorated illumination. Among these algorithms, diffusion model (DM)-based methods have shown promising performance but are often burdened by heavy computational demands and pixel misalignment issues when predicting the image-level distribution. To tackle these problems, we propose to leverage DM within a compact latent space to generate concise guidance priors and introduce a novel solution called Reti-Diff for the IDIR task. Reti-Diff comprises two key components: the Retinex-based latent DM (RLDM) and the Retinex-guided transformer (RGformer). To ensure detailed reconstruction and illumination correction, RLDM is empowered to acquire Retinex knowledge and extract reflectance and illumination priors. These priors are subsequently utilized by RGformer to guide the decomposition of image features into their respective reflectance and illumination components. Following this, RGformer further enhances and consolidates the decomposed features, resulting in the production of refined images with consistent content and robustness to handle complex degradation scenarios. Extensive experiments show that Reti-Diff outperforms existing methods on three IDIR tasks, as well as downstream applications. Code will be available at \url{https://github.com/ChunmingHe/Reti-Diff}.

研究动机与目标

• 以高效 diffusion 基于引导在潜在空间中解决照明退化图像复原（IDIR）的动机与目标。
• 利用 Retinex 理论提取反射率和照明先验，以实现改进的复原与色彩校正。
• 引入 RLDM 以学习 Retinex 先验，及 RGformer 将先验融入特征分解与重建的过程。
• 在多项 IDIR 任务上实现鲁棒性能，并展示对下游视觉任务的益处。

提出的方法

• 提出一个两部件的 Reti-Diff 框架：Retinex 基于潜在扩散模型（RLDM）和 Retinex 指导的 transformer（RGformer）。
• RLDM 学习 Retinex 知识并为反射率和照明域生成紧凑先验。
• RGformer 使用 Retinex 先验通过 Retinex 指导的多头跨注意力（RG-MCA）与动态特征聚合（DFA）将特征分解为反射率和照明分量。
• 分两阶段训练：阶段 I 预训练 Reti-Diff，包含 Retinex 先验提取（RPE）和 RGformer 指导；阶段 II 训练 RLDM 以在反射率与照明域预测 Retinex 先验。
• 损失包括重建损失用于复原，Retinex 损失用于监督 Retinex 分解，以及一个扩散损失以使 RLDM 先验与生成的先验（LDif）对齐。
• 推理阶段使用来自 RLDM 的条件化先验来生成在 Retinex 理论指导下的高质量恢复图像。

实验结果

研究问题

• RQ1 潜在扩散在紧凑潜在空间中是否能为 IDIR 提供有效的指导先验，同时相比图像空间扩散降低计算量？
• RQ2 通过 RLDM 学得的基于 Retinex 的反射率和照明先验，是否能在整合到基于 transformer 的复原网络时实现更准确的细节重建与色彩校正？
• RQ3 RGformer 是否能够在 RG-MCA 和 DFA 的作用下，稳健地分解并融合反射率与照明特征，以应对多样化的退化场景？
• RQ4 RPE、RGformer 与 RLDM 的联合训练是否能提升复原质量并对下游任务如目标检测和分割具有泛化性？

主要发现

• Reti-Diff 在三个 IDIR 任务上跨越多个基准优于现有方法（例如低光、水下、背光场景）。
• RLDM 学习 Retinex 知识并提供用于引导 RGformer 的反射率与照明先验，从而实现细节复原与色彩校正。
• RGformer 利用 Retinex 先验将特征分解为反射率与照明，然后通过 RG-MCA 与 DFA 进行 refinement，以实现一致的复原。
• RPE、RGformer 与 RLDM 的联合训练在极端退化场景中提升了复原质量与鲁棒性。
• 该方法在下游应用，如低光对象检测与分割方面也显示出有利的结果。