[论文解读] Self-supervised Image Enhancement Network: Training with Low Light Images Only

Yu Zhang, Xiaoguang Di+2 more|arXiv (Cornell University)|Feb 26, 2020

Image Enhancement Techniques参考文献 43被引用 91

一句话总结

一个基于最大熵 Retinex 模型的自监督低光照图像增强方法，仅使用低光照图像进行训练，能够实现快速、实时的增强且无需成对数据。

ABSTRACT

This paper proposes a self-supervised low light image enhancement method based on deep learning. Inspired by information entropy theory and Retinex model, we proposed a maximum entropy based Retinex model. With this model, a very simple network can separate the illumination and reflectance, and the network can be trained with low light images only. We introduce a constraint that the maximum channel of the reflectance conforms to the maximum channel of the low light image and its entropy should be largest in our model to achieve self-supervised learning. Our model is very simple and does not rely on any well-designed data set (even one low light image can complete the training). The network only needs minute-level training to achieve image enhancement. It can be proved through experiments that the proposed method has reached the state-of-the-art in terms of processing speed and effect.

研究动机与目标

• 在不需要成对正常光数据的前提下，推动低光照图像增强的改进。
• 引入基于最大熵的 Retinex 模型以分离反射率与照明。
• 设计一个简单的 CNN，使其能够仅使用低光照图像进行自监督训练。
• 展示实时性能并在不同环境和设备上具有较强的泛化能力。

提出的方法

• 将基于最大熵的 Retinex 目标函数与重建、反射率和照明损失（L1 范数）结合起来。
• 使用最大通道及其直方图均衡化的熵来约束反射率。
• 采用结构感知的光照平滑损失来保持结构信息。
• 实现一个简单的端到端卷积网络，最后通过 Sigmoid 输出反射率和照明。
• 在自监督方式下仅使用低光照图像进行训练，即使只有一张图像也无需成对数据。
• 使用客观指标进行评测，并与经典方法及最新方法进行对比。

实验结果

研究问题

• RQ1 是否可以仅使用低光照图像在自监督的方式下学习低光照图像增强？
• RQ2 最大熵 Retinex 形式是否能够在没有参考数据的情况下实现良好的反射率/照明分解和增强图像？
• RQ3 与监督和其他无监督方法相比，所提方法在质量与速度上有何差异？
• RQ4 用单张图像 vs 多张低光照图像进行训练对稳定性和伪影有何影响？

主要发现

GE	GMI	CE	GMG	LOE 低	LOE 高	NIQE	PSNR	SSIM	Time
7.785	105.3	23.21	17.12	505.3	898.6	5.201	15.81	0.5607	-
6.947	134.7	17.61	16.93	540.3	950.1	8.008	16.69	0.5262	-
7.070	96.67	20.787	20.38	1607.7	1867.8	9.135	16.97	0.5894	-
6.937	85.99	20.16	17.47	840.9	1197.7	9.713	16.97	0.6049	-
6.296	50.33	18.62	9.380	952.0	1291.4	7.535	11.86	0.4978	-
7.564	114.9	21.72	23.46	1303.5	1543.7	9.127	16.76	0.5644	-
7.116	119.0	21.52	9.918	902.5	1205.5	6.797	19.72	0.7035	-
6.835	110.2	21.13	24.00	1990.1	1988.8	9.730	16.77	0.5594	-
7.030	88.08	20.94	10.27	529.0	1028.2	4.422	14.18	0.5169	-
7.180	108.7	21.65	7.653	1210.8	1384.1	4.793	19.15	0.7108	0.0145
7.030	88.08	20.94	10.27	529.0	1028.2	4.422	14.18	0.5169	0.0145
7.040	115.5	21.31	6.910	921.9	-	4.253	-	1	-

• 该方法在处理速度上达到最先进水平，并且在增强质量方面与传统和深度学习基线具有竞争力。
• 训练仅需低光照图像，甚至只用一张图像，即可实现分钟级训练与实时性能。
• 所提的最大熵 Retinex 模型在反射率与照明的有效分离方面表现出基于熵的约束效果。
• 早停有助于在大量训练轮次时避免噪声与伪影。
• 在 LOL 数据集上的定量结果显示 PSNR/SSIM 具有竞争力，并相对于若干基线呈现较好的定性结果。
• 单图像训练在充足的训练轮次下仍然可行且无伪影，显示对新环境具有强适应性。