[论文解读] R2RNet: Low-light Image Enhancement via Real-low to Real-normal Network

Hai Jiang, Xuan Zhu+5 more|arXiv (Cornell University)|Jun 28, 2021

Image Enhancement Techniques参考文献 53被引用 17

一句话总结

R2RNet 提出了一种基于 Retinex 的新型深度学习框架，用于低光照图像增强。该方法将图像分解为光照图与反射图，对反射图进行去噪，并结合空间域与频域特征提升对比度。在基准数据集上实现了最先进性能，显著提升了下游人脸检测的准确率，其成功得益于首个大规模真实世界配对低光/正常光照数据集（LSRW）。

ABSTRACT

Images captured in weak illumination conditions could seriously degrade the image quality. Solving a series of degradation of low-light images can effectively improve the visual quality of images and the performance of high-level visual tasks. In this study, a novel Retinex-based Real-low to Real-normal Network (R2RNet) is proposed for low-light image enhancement, which includes three subnets: a Decom-Net, a Denoise-Net, and a Relight-Net. These three subnets are used for decomposing, denoising, contrast enhancement and detail preservation, respectively. Our R2RNet not only uses the spatial information of the image to improve the contrast but also uses the frequency information to preserve the details. Therefore, our model acheived more robust results for all degraded images. Unlike most previous methods that were trained on synthetic images, we collected the first Large-Scale Real-World paired low/normal-light images dataset (LSRW dataset) to satisfy the training requirements and make our model have better generalization performance in real-world scenes. Extensive experiments on publicly available datasets demonstrated that our method outperforms the existing state-of-the-art methods both quantitatively and visually. In addition, our results showed that the performance of the high-level visual task (i.e. face detection) can be effectively improved by using the enhanced results obtained by our method in low-light conditions. Our codes and the LSRW dataset are available at: https://github.com/abcdef2000/R2RNet.

研究动机与目标

• 解决现有低光照增强方法依赖合成数据集、难以泛化至真实世界场景的局限性。
• 通过同时提升对比度、抑制噪声并保留低光照条件下的细微细节，改善图像质量。
• 证明低光照图像增强可显著提升高层视觉任务（如人脸检测）的性能。
• 构建大规模真实世界配对数据集（LSRW），以支持深度学习模型在低光照增强任务中的训练，提升泛化能力。
• 在重新照明阶段引入频域处理，以在保持对比度的同时保留图像细节并减少伪影。

提出的方法

• 提出三子网架构：基于 Retinex 理论，Decom-Net 负责将输入的低光照图像分解为光照图与反射图。
• 利用 Illumination Map 作为空间约束，Denoise-Net 对反射图中的噪声进行抑制，从而保持结构完整性。
• Relight-Net 通过结合空间特征进行光照调节与频域特征（通过快速傅里叶变换获取）进行细节恢复，实现对比度与亮度的增强。
• 引入频域损失函数，引导 Relight-Net 在不放大噪声的前提下重建高频细节。
• 采用感知损失与重建损失联合端到端训练整个网络，以确保高视觉质量与结构保真度。
• 利用新型大规模真实世界配对数据集（LSRW），包含 5,650 对图像，以提升模型泛化能力，避免由合成数据引起的域偏移。

实验结果

研究问题

• RQ1 结合空间与频域处理的深度学习模型，是否能在低光照图像增强方面超越现有方法？
• RQ2 在真实世界配对低光/正常光照图像上进行训练，是否能带来比合成数据集更好的泛化能力与真实世界低光照场景下的性能表现？
• RQ3 低光照图像增强在多大程度上能提升下游高层视觉任务（如人脸检测）的准确率？
• RQ4 所提出的频域损失在重新照明过程中，是否能有效保留图像细节而不放大噪声？
• RQ5 三阶段网络（分解、去噪、重新照明）是否在对比度提升、噪声抑制与细节保留方面优于端到端模型？

主要发现

• 在 LOL 数据集上，R2RNet 达到最高的 PSNR（20.207）与 SSIM（0.816），优于包括 MBLLEN 与 EnlightenGAN 在内的当前最先进方法。
• 消融实验表明，完整 R2RNet 架构同时使用感知损失与频域损失时性能最佳，当移除频域损失后 PSNR 下降 2.242。
• 将 R2RNet 作为预处理步骤使用时，DARK FACE 数据集上的人脸检测平均精度（AP）从无增强时的 17.12% 提升至使用 DSFD 时的 33.98% 与使用 RetinaFace 时的 25.97%。
• 包含 5,650 对真实世界配对低光/正常光照图像的 LSRW 数据集，经验证在公开基准测试中表现更优，证明其相比合成数据集具有更好的泛化能力。
• 频域损失组件在细节保留方面贡献显著，移除后 PSNR 下降 0.451，SSIM 下降 0.011，表明其在高频细节恢复中的关键作用。
• 视觉对比结果表明，R2RNet 有效抑制了暗部区域的噪声与伪影，同时避免了 RetinexNet 中常见的模糊与色彩失真，以及 SRIE 中的欠增强问题。