[论文解读] Unsupervised Low-Light Image Enhancement via Histogram Equalization Prior

Feng Zhang, Yuanjie Shao+4 more|arXiv (Cornell University)|Dec 3, 2021

Image Enhancement Techniques被引用 25

一句话总结

本论文提出一个无监督框架，在引导 Retinex 基分解之前使用直方图均衡先验，并通过一个噪声分离模块来提升低光图像，在无监督方法中达到行业领先水平，并且可与有监督方法比肩。

ABSTRACT

Deep learning-based methods for low-light image enhancement typically require enormous paired training data, which are impractical to capture in real-world scenarios. Recently, unsupervised approaches have been explored to eliminate the reliance on paired training data. However, they perform erratically in diverse real-world scenarios due to the absence of priors. To address this issue, we propose an unsupervised low-light image enhancement method based on an effective prior termed histogram equalization prior (HEP). Our work is inspired by the interesting observation that the feature maps of histogram equalization enhanced image and the ground truth are similar. Specifically, we formulate the HEP to provide abundant texture and luminance information. Embedded into a Light Up Module (LUM), it helps to decompose the low-light images into illumination and reflectance maps, and the reflectance maps can be regarded as restored images. However, the derivation based on Retinex theory reveals that the reflectance maps are contaminated by noise. We introduce a Noise Disentanglement Module (NDM) to disentangle the noise and content in the reflectance maps with the reliable aid of unpaired clean images. Guided by the histogram equalization prior and noise disentanglement, our method can recover finer details and is more capable to suppress noise in real-world low-light scenarios. Extensive experiments demonstrate that our method performs favorably against the state-of-the-art unsupervised low-light enhancement algorithms and even matches the state-of-the-art supervised algorithms.

研究动机与目标

• 通过利用先验来推动在没有成对数据的情况下的无监督低光增强。
• 提出直方图均衡先验（HEP），用于引导反射/照明分解。
• 将图像分解为照明和反射成分，然后通过解耦表示对反射进行去噪。
• 通过感知相似性与直方图均衡增强图像的比较以及噪声/内容的解耦来对训练进行正则化。
• 展示在定量和定性方面对比最前沿方法的强大性能。

提出的方法

• 引入直方图均衡先验（HEP），通过 VGG conv4_1 特征与地真样式图像的相似性来评估。
• 在 Retinex 理论下，使用 Light Up Module (LUM) 将低光图像分解为反射成分和照明映射。
• 应用照明平滑损失，在保持结构的同时抑制照明映射中的纹理。
• 添加带有内容编码器和噪声编码器的噪声解耦模块（NDM），在反射映射中将噪声与内容分离。
• 使用 KL 散度将噪声特征约束为遵循标准正态分布，减少噪声中的内容泄漏。
• 在 NDM 中融合对抗、循环一致、感知、颜色恒常性以及多尺度背景损失，以实现真实的去噪和细节恢复。

实验结果

研究问题

• RQ1 来自直方图均衡的特征是否可以作为可靠的无监督先验，在没有成对数据的情况下引导低光增强？
• RQ2 如何将反射/照明分解与噪声解耦结合起来，在现实世界低光图像中在抑制噪声的同时恢复细节？
• RQ3 所提出的先验和模块是否显著提升性能，足以在标准基准上与有监督方法竞争？
• RQ4 所提出的损失（HEP、照明平滑、KL、对抗、感知等）对恢复质量有何影响？

主要发现

方法	PSNR	SSIM	NIQE
Input	7.77	0.191	6.749
HE [1]	14.95	0.409	8.427
LIME [19]	17.18	0.484	8.221
Retinex-Net [10]	16.77	0.425	8.879
KinD++ [11]	21.32	0.829	5.120
Zero-DCE [6]	14.86	0.562	7.767
EnlightenGAN [7]	17.48	0.652	4.684
Self-Supervised [8]	19.13	0.651	4.702
Ours	20.23	0.790	3.780

• 所提出的方法在 LOL 测试集的无监督方法中实现了最佳 PSNR (20.23 dB)、SSIM (0.790) 和 NIQE (3.780)。
• 它缩小了与有监督方法之间的差距，性能接近最先进的有监督方法。
• HEP 使直方图均衡的图像特征在深度网络中与接近地真表示对齐，从而改善了还原引导。
• NDM 有效地将噪声与内容解耦，产生更高质量的去噪图像并更好地保留纹理。
• 在多个数据集上的定量结果显示更优的 NIQE 分数，以及在真实世界低光图像中的有竞争力的视觉质量。