[论文解读] Self-supervised Image Enhancement Network: Training with Low Light Images Only

Yu Zhang, Xiaoguang Di+2 more|arXiv (Cornell University)|Feb 26, 2020

Image Enhancement Techniques参考文献 43被引用 91

一句话总结

一个基于最大熵 Retinex 模型的自监督低光照图像增强方法，仅使用低光照图像进行训练，能够实现快速、实时的增强且无需成对数据。

ABSTRACT

This paper proposes a self-supervised low light image enhancement method based on deep learning. Inspired by information entropy theory and Retinex model, we proposed a maximum entropy based Retinex model. With this model, a very simple network can separate the illumination and reflectance, and the network can be trained with low light images only. We introduce a constraint that the maximum channel of the reflectance conforms to the maximum channel of the low light image and its entropy should be largest in our model to achieve self-supervised learning. Our model is very simple and does not rely on any well-designed data set (even one low light image can complete the training). The network only needs minute-level training to achieve image enhancement. It can be proved through experiments that the proposed method has reached the state-of-the-art in terms of processing speed and effect.

研究动机与目标

• 在不需要成对正常光数据的前提下，推动低光照图像增强的改进。
• 引入基于最大熵的 Retinex 模型以分离反射率与照明。
• 设计一个简单的 CNN，使其能够仅使用低光照图像进行自监督训练。
• 展示实时性能并在不同环境和设备上具有较强的泛化能力。

提出的方法

• 将基于最大熵的 Retinex 目标函数与重建、反射率和照明损失（L1 范数）结合起来。
• 使用最大通道及其直方图均衡化的熵来约束反射率。
• 采用结构感知的光照平滑损失来保持结构信息。
• 实现一个简单的端到端卷积网络，最后通过 Sigmoid 输出反射率和照明。
• 在自监督方式下仅使用低光照图像进行训练，即使只有一张图像也无需成对数据。
• 使用客观指标进行评测，并与经典方法及最新方法进行对比。

实验结果

研究问题

• RQ1 是否可以仅使用低光照图像在自监督的方式下学习低光照图像增强？
• RQ2 最大熵 Retinex 形式是否能够在没有参考数据的情况下实现良好的反射率/照明分解和增强图像？
• RQ3 与监督和其他无监督方法相比，所提方法在质量与速度上有何差异？
• RQ4 用单张图像 vs 多张低光照图像进行训练对稳定性和伪影有何影响？

主要发现

• 该方法在处理速度上达到最先进水平，并且在增强质量方面与传统和深度学习基线具有竞争力。
• 训练仅需低光照图像，甚至只用一张图像，即可实现分钟级训练与实时性能。
• 所提的最大熵 Retinex 模型在反射率与照明的有效分离方面表现出基于熵的约束效果。
• 早停有助于在大量训练轮次时避免噪声与伪影。
• 在 LOL 数据集上的定量结果显示 PSNR/SSIM 具有竞争力，并相对于若干基线呈现较好的定性结果。
• 单图像训练在充足的训练轮次下仍然可行且无伪影，显示对新环境具有强适应性。