[论文解读] Progressive Retinex: Mutually Reinforced Illumination-Noise Perception Network for Low Light Image Enhancement

Yang Wang, Yang Cao+5 more|arXiv (Cornell University)|Nov 26, 2019

Image Enhancement Techniques参考文献 43被引用 16

一句话总结

本文提出了一种渐进式 Retinex 框架，通过使用全逐点卷积神经网络，联合建模低光照图像中的光照和噪声，实现相互增强的感知。通过利用光照和噪声的统计规律性，该方法在对比度增强和噪声抑制方面表现优异，在定量指标和视觉质量上均优于当前最先进（SOTA）方法，同时保持了高计算效率。

ABSTRACT

Contrast enhancement and noise removal are coupled problems for low-light image enhancement. The existing Retinex based methods do not take the coupling relation into consideration, resulting in under or over-smoothing of the enhanced images. To address this issue, this paper presents a novel progressive Retinex framework, in which illumination and noise of low-light image are perceived in a mutually reinforced manner, leading to noise reduction low-light enhancement results. Specifically, two fully pointwise convolutional neural networks are devised to model the statistical regularities of ambient light and image noise respectively, and to leverage them as constraints to facilitate the mutual learning process. The proposed method not only suppresses the interference caused by the ambiguity between tiny textures and image noises, but also greatly improves the computational efficiency. Moreover, to solve the problem of insufficient training data, we propose an image synthesis strategy based on camera imaging model, which generates color images corrupted by illumination-dependent noises. Experimental results on both synthetic and real low-light images demonstrate the superiority of our proposed approaches against the State-Of-The-Art (SOTA) low-light enhancement methods.

研究动机与目标

• 解决低光照图像增强中对比度增强与噪声抑制的耦合问题。
• 通过建模光照和图像噪声的统计规律性，提高估计精度。
• 通过联合学习光照与噪声特征，减少模糊微小纹理和噪声的干扰。
• 通过全逐点卷积架构提升计算效率。
• 通过基于相机成像模型的图像合成策略，缓解数据稀缺问题。

提出的方法

• 设计两个全逐点卷积神经网络，分别用于建模环境光照和图像噪声的统计规律性。
• 将网络集成到渐进式 Retinex 框架中，实现光照与噪声感知之间的相互增强。
• 将低光照图像增强建模为联合优化问题：I = R ∘ L + n，其中 R 为反射率，L 为光照，n 为噪声。
• 提出一种基于相机成像模型的新图像合成策略，生成具有光照依赖性噪声的逼真低光照图像用于训练。
• 通过使用逐点卷积确保高计算效率，并实现在 CPU 和 GPU 上的快速推理。
• 通过将噪声抑制直接集成到增强流程中，避免后处理，从而减少过平滑或欠平滑问题。

实验结果

研究问题

• RQ1 如何联合建模光照与噪声，以提升低光照图像增强性能？
• RQ2 忽略光照与噪声之间的耦合关系对增强质量有何影响？
• RQ3 能否通过深度网络有效学习光照与噪声的统计规律性，以提升性能？
• RQ4 如何在提升增强质量的同时保持计算效率？
• RQ5 能否生成具有真实噪声特性的合成低光照图像，以缓解数据稀缺问题？

主要发现

• 所提方法在合成与真实低光照数据集上均取得最佳性能，在 PSNR、SSIM 和 FSIM 指标上均优于当前最先进方法。
• 在 LOL 数据集上，该方法达到 PSNR 为 19.77 和 FSIM 为 0.9456，优于此前最佳方法（Cai et al., 2018）。
• 该方法有效减少了增强图像中的残余噪声，避免了现有方法中常见的过增强或欠增强降噪问题。
• 该框架在 CPU 上处理 129×129×3 图像仅需 0.46 秒，在 GPU 上仅需 0.03 秒，比同类基于 CNN 的方法（Cai et al., 2018）快 50 倍。
• 视觉结果表明无过曝或色偏现象，说明光照建模与噪声抑制效果良好。
• 基于相机成像模型的图像合成策略能有效生成具有真实光照依赖性噪声的训练数据。