[论文解读] SID-NISM: A Self-supervised Low-light Image Enhancement Framework

Lijun Zhang, Xiao Liu+2 more|arXiv (Cornell University)|Dec 16, 2020

Image Enhancement Techniques参考文献 24被引用 4

一句话总结

本文提出SID-NISM，一种自监督的低光照图像增强框架，通过无需标注训练数据即可将低光照图像分解为反射率、光照和噪声分量。通过利用自监督图像分解网络（SID-Net）和非线性光照饱和度映射函数（NISM），该方法在减少伪影和提升自然度方面表现优异，在主观与客观评估中均优于当前最先进方法，包括在低光照条件下物体检测任务中达到33.39%的mAP。

ABSTRACT

When capturing images in low-light conditions, the images often suffer from low visibility, which not only degrades the visual aesthetics of images, but also significantly degenerates the performance of many computer vision algorithms. In this paper, we propose a self-supervised low-light image enhancement framework (SID-NISM), which consists of two components, a Self-supervised Image Decomposition Network (SID-Net) and a Nonlinear Illumination Saturation Mapping function (NISM). As a self-supervised network, SID-Net could decompose the given low-light image into its reflectance, illumination and noise directly without any prior training or reference image, which distinguishes it from existing supervised-learning methods greatly. Then, the decomposed illumination map will be enhanced by NISM. Having the restored illumination map, the enhancement can be achieved accordingly. Experiments on several public challenging low-light image datasets reveal that the images enhanced by SID-NISM are more natural and have less unexpected artifacts.

研究动机与目标

• 解决依赖大规模成对数据集的监督学习方法在低光照图像增强中的局限性。
• 开发一种自监督框架，无需参考图像或预先训练即可增强低光照图像。
• 通过反射率理论将图像分解为反射率、光照和噪声分量，以提升图像质量。
• 在保留对比度的同时增强暗区亮度，同时最小化不自然伪影。
• 评估该方法在下游计算机视觉任务（如物体检测）中的有效性。

提出的方法

• SID-NISM采用自监督图像分解网络（SID-Net），将低光照图像及其直方图均衡化版本分解为反射率、平滑光照和噪声图。
• SID-Net使用一种新型损失函数，结合反射率和噪声特异性项与标准正则化项，以引导分解结果趋向物理上合理。
• 通过非线性光照饱和度映射（NISM）函数增强光照图，以在不发生过曝的情况下保留对比度并照亮暗区。
• 最终通过组合去噪后的反射率与增强后的光照图重建增强图像。
• 该框架仅使用输入图像及其直方图均衡化变体进行端到端训练，无需成对训练数据。
• 在LOL和MEF等公开数据集上评估该方法，通过客观指标与人类感知研究与当前最先进方法进行比较。

实验结果

研究问题

• RQ1 自监督框架是否能在不依赖成对训练数据或先验知识的情况下实现高质量的低光照图像增强？
• RQ2 所提出的SID-Net在自监督方式下，将低光照图像分解为物理上有意义的分量（反射率、光照、噪声）的效率如何？
• RQ3 NISM函数在保留对比度的同时，对光照增强的改善程度如何，是否能避免过度提亮？
• RQ4 增强后的图像质量对下游计算机视觉任务（如物体检测）有何影响？
• RQ5 为反射率和噪声设计的损失项在整体图像质量提升与伪影减少方面有何贡献？

主要发现

• 在ExDark数据集上，SID-NISM在物体检测任务中达到最高的33.39% mAP，优于原始低光照图像（31.54%），并匹配最佳性能方法（LIME为33.98%）。
• 在LOL和MEF数据集上，SID-NISM在PSNR、SSIM、GE、CE、GMI、GMG和NIQE等指标上均表现更优，表明整体图像质量与自然度更佳。
• SID-Net中引入的新型$γ_{R}$和$γ_{N}$损失项显著提升了色彩保真度、梯度保持能力与噪声抑制效果。
• 人类感知研究表明，参与者更偏好SID-NISM的输出，报告其伪影更少。
• 该方法在无需任何外部训练数据的情况下实现优异性能，证明了自监督在低光照增强中的有效性。
• 该框架在客观指标与主观评估中均优于现有最先进方法，证实了其鲁棒性与视觉质量优势。