[论文解读] Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement

Yuanhao Cai, Hao Bian+4 more|arXiv (Cornell University)|Mar 12, 2023

Image Enhancement Techniques被引用 19

一句话总结

提出了一种一阶段的基于 Retinex 的框架（ORF），配备一个照明引导的变换器（IGT）来增强低光照图像，在十三个基准测试上达到最新状态（SOTA），并提升低光照目标检测性能。

ABSTRACT

When enhancing low-light images, many deep learning algorithms are based on the Retinex theory. However, the Retinex model does not consider the corruptions hidden in the dark or introduced by the light-up process. Besides, these methods usually require a tedious multi-stage training pipeline and rely on convolutional neural networks, showing limitations in capturing long-range dependencies. In this paper, we formulate a simple yet principled One-stage Retinex-based Framework (ORF). ORF first estimates the illumination information to light up the low-light image and then restores the corruption to produce the enhanced image. We design an Illumination-Guided Transformer (IGT) that utilizes illumination representations to direct the modeling of non-local interactions of regions with different lighting conditions. By plugging IGT into ORF, we obtain our algorithm, Retinexformer. Comprehensive quantitative and qualitative experiments demonstrate that our Retinexformer significantly outperforms state-of-the-art methods on thirteen benchmarks. The user study and application on low-light object detection also reveal the latent practical values of our method. Code, models, and results are available at https://github.com/caiyuanhao1998/Retinexformer

研究动机与目标

• 通过将照明感知建模与基于 Transformer 的损坏恢复器整合，推动更优的低光照图像增强。
• 在单阶段中联合估计照明并恢复损坏。
• 设计 IG-MSA 以利用照明信息来引导长程自注意力。
• 将 IGT 嵌入到 ORF 中，形成 Retinexformer，并在各数据集上展示出色的性能。
• 通过用户研究和改进的低光对象检测来展示实际效益。

提出的方法

• 提出一个一阶段的基于 Retinex 的框架（ORF），在一个端到端的可训练流水线中先点亮图像再恢复损坏。
• 引入一个照明估计器 E，它从 I 以及一个照明先验 L_p 输出一个点亮后的图像 I_lu 和一个点亮特征 F_lu。
• 点亮通过使用三通道 RGB 点亮图 L_bar 来稳健地建模 RGB 通道之间的非线性。
• 开发照明引导的变换器（IGT）作为损坏恢复器，在一个三尺度的 U 形结构中运行，带跳连。
• 在 IG-MSA 中，用点亮特征 F_lu 引导多头自注意力，以改善不同光照条件区域之间的交互。
• 给出复杂度分析，表明 IG-MSA 的尺度与空间大小线性相关，从而在多个尺度上实现集成。

实验结果

研究问题

• RQ1 在不进行多阶段训练的情况下，单阶段的 Retinex 基于框架是否能够在点亮过程中有效地建模并恢复损坏？
• RQ2 照明引导的变换器（IGT) 是否改进了对不同曝光区域之间的长程依赖建模？
• RQ3 使用点亮图和照明引导注意力在低光增强及其下游任务（如目标检测）中的好处是什么？

主要发现

• Retinexformer 在十三个数据集上显著超越了最先进的基于 Retinex 的方法。
• 与 SNR-Net 相比，Retinexformer 在多个基准测试中将 PSNR/SSIM 提高至多 1.57 dB 和 0.059 的 SSIM，同时具有更低的计算成本。
• 在 SID 和 SDSD 数据集上，相对于某些基线，PSNR 的提升超过 6 dB。
• 所提出的 IG-MSA 在降低复杂度的同时实现了有利的结果，相较于全局自注意力，使其可在网络内密集应用。
• 用户研究显示在多数据集上，Retinexformer 的感知视觉质量更高，且对象检测实验（ExDark）显示平均精度的提升。
• 消融研究证实，ORF 与 IG-MSA 均对性能提升有贡献，结合时具有叠加改进。