[论文解读] Self-supervised Low Light Image Enhancement and Denoising

Yu Zhang, Xiaoguang Di+4 more|arXiv (Cornell University)|Mar 1, 2021

Image Enhancement Techniques参考文献 32被引用 18

一句话总结

本文提出了一种自监督的两阶段深度学习框架，用于低光照图像增强与去噪，采用图像对比度增强网络（ICE-Net）和再增强与去噪网络（RED-Net）。该方法通过利用基于最大熵的Retinex模型和噪声独立性假设，在无需成对训练数据的情况下，实现了最先进的视觉质量和降噪效果，优于监督方法，在细节保留和跨设备适应性方面表现更优。

ABSTRACT

This paper proposes a self-supervised low light image enhancement method based on deep learning, which can improve the image contrast and reduce noise at the same time to avoid the blur caused by pre-/post-denoising. The method contains two deep sub-networks, an Image Contrast Enhancement Network (ICE-Net) and a Re-Enhancement and Denoising Network (RED-Net). The ICE-Net takes the low light image as input and produces a contrast enhanced image. The RED-Net takes the result of ICE-Net and the low light image as input, and can re-enhance the low light image and denoise at the same time. Both of the networks can be trained with low light images only, which is achieved by a Maximum Entropy based Retinex (ME-Retinex) model and an assumption that noises are independently distributed. In the ME-Retinex model, a new constraint on the reflectance image is introduced that the maximum channel of the reflectance image conforms to the maximum channel of the low light image and its entropy should be the largest, which converts the decomposition of reflectance and illumination in Retinex model to a non-ill-conditioned problem and allows the ICE-Net to be trained with a self-supervised way. The loss functions of RED-Net are carefully formulated to separate the noises and details during training, and they are based on the idea that, if noises are independently distributed, after the processing of smoothing filters (\eg mean filter), the gradient of the noise part should be smaller than the gradient of the detail part. It can be proved qualitatively and quantitatively through experiments that the proposed method is efficient.

研究动机与目标

• 为解决低光照图像增强中同时提升对比度与去除噪声的挑战，特别是在缺乏真实世界成对训练数据的情况下。
• 通过仅使用低光照图像实现自监督训练，消除对监督数据的依赖。
• 在有效去除噪声的同时保留精细细节和边缘，避免预/后处理去噪流水线导致的模糊。
• 开发一种对不同设备、光照条件和图像内容具有鲁棒性的方法，无需重新训练或标注参考图像。
• 通过避免对自然图像先验或基于曝光的参考图像的假设，提升泛化能力和实际应用性。

提出的方法

• ICE-Net通过基于最大熵的Retinex（ME-Retinex）模型进行训练，该模型强制使反射图像的最大通道与输入的低光照图像匹配，并最大化其熵，从而稳定反射与光照分解的病态问题。
• ME-Retinex模型通过将反射图像的最大通道与输入图像关联并最大化其熵，引入了非病态约束，实现自监督训练。
• RED-Net利用ICE-Net的输出和原始低光照图像进行再增强与去噪，基于噪声在像素间独立分布的假设。
• RED-Net中的噪声与细节分离通过在平滑滤波后的梯度分析实现：噪声梯度小于细节梯度，从而可在损失函数中实现基于梯度的加权。
• RED-Net的损失函数被设计为增强边缘和细节的梯度以提升对比度，区别于以往仅关注边缘保留的方法。
• 两个网络均通过基于噪声和反射物理假设的自监督损失函数进行端到端训练，避免使用真实标签图像。

实验结果

研究问题

• RQ1 能否在缺乏真实世界参考图像对的情况下，有效训练低光照图像增强与去噪？
• RQ2 自监督框架是否能在低光照条件下维持高对比度与细节保留的同时有效去除噪声？
• RQ3 在无真实标签的情况下，如何实现噪声与结构细节的分离？
• RQ4 与后处理方法相比，对对比度增强网络输出进行再增强是否能提升去噪与细节恢复效果？
• RQ5 该方法是否能在无需重新训练的情况下，跨不同设备和光照条件保持良好泛化能力？

主要发现

• 在LOL数据集上，该方法的PSNR达到18.34，优于KinD（17.64）和Retinex-Net（16.82），表明其具有更优的噪声抑制能力。
• 在LOL数据集上，该方法的SSIM达到0.65，优于LIME（0.60）、RRM（0.66）和Retinex-Net（0.57），显示出更好的结构相似性。
• 在视觉对比中，该方法在低光照图像中更好地保留了文字和精细结构（如书架和阴影中的面部细节），优于LIME和Retinex-Net。
• 尽管为自监督方法，该方法在边缘锐度和噪声抑制方面与监督SOTA方法（如KinD）相比仍具有竞争力。
• 该方法在NIQE指标上表现有限（LOL数据集上得分为4.33），表明增强后的图像偏离了自然图像统计特性，可能由于损失函数中缺乏自然图像先验。
• 该框架成功避免了预/后处理去噪流水线导致的模糊，并在非均匀光照和高噪声水平下仍能保持高质量增强效果。