[论文解读] SurroundNet: Towards Effective Low-Light Image Enhancement

Fei Zhou, Xin Sun+3 more|arXiv (Cornell University)|Oct 11, 2021

Image Enhancement Techniques参考文献 44被引用 4

一句话总结

本文提出 SurroundNet，一种轻量级深度学习模型，用于低光照图像增强，参数少于150K——通过一种新颖的自适应环绕函数（ASF）实现光照估计，以及一种将单尺度Retinex扩展至特征空间的自适应Retinex模块（ARBlock），实现最先进性能。该方法还包含一个低曝光去噪器（LED），在增强前抑制噪声，相较于最先进方法，在真实世界数据集上实现了更高的质量与效率。

ABSTRACT

Although Convolution Neural Networks (CNNs) has made substantial progress in the low-light image enhancement task, one critical problem of CNNs is the paradox of model complexity and performance. This paper presents a novel SurroundNet which only involves less than 150$K$ parameters (about 80-98 percent size reduction compared to SOTAs) and achieves very competitive performance. The proposed network comprises several Adaptive Retinex Blocks (ARBlock), which can be viewed as a novel extension of Single Scale Retinex in feature space. The core of our ARBlock is an efficient illumination estimation function called Adaptive Surround Function (ASF). It can be regarded as a general form of surround functions and be implemented by convolution layers. In addition, we also introduce a Low-Exposure Denoiser (LED) to smooth the low-light image before the enhancement. We evaluate the proposed method on the real-world low-light dataset. Experimental results demonstrate that the superiority of our submitted SurroundNet in both performance and network parameters against State-of-the-Art low-light image enhancement methods. Code is available at https: github.com/ouc-ocean-group/SurroundNet.

研究动机与目标

• 解决低光照图像增强中模型复杂度与性能之间的权衡问题。
• 在保持或提升性能的同时，减少基于CNN的低光照增强网络的参数数量。
• 通过可学习且高效的光照估计函数，将Retinex理论的先验知识融入深度学习。
• 在增强过程中提升对噪声的鲁棒性并保持图像结构。
• 开发一种轻量级、端到端可训练的网络，适用于实时或资源受限的应用。

提出的方法

• 提出一种自适应环绕函数（ASF），作为堆叠2D卷积的可学习、参数高效的替代方案，用于光照图估计。
• 设计自适应Retinex模块（ARBlock），在特征空间中应用ASF，将单尺度Retinex扩展至深度神经网络。
• 引入一个低曝光去噪模块（LED），在合成低光照图像上进行训练，以在增强前平滑输入，减少噪声放大。
• 采用高效的通道注意力模块（ECA），在极少增加参数的情况下增强特征表示。
• 采用两阶段训练策略：首先在低曝光图像上预训练LED，然后联合训练完整的SurroundNet，以增强输出为监督目标。
• 使用感知质量和自然图像质量度量（PSNR、SSIM、NIQE、LPIPS）的多目标损失函数对网络进行优化。

实验结果

研究问题

• RQ1 可学习且参数高效的环绕函数能否替代堆叠2D卷积，用于低光照增强中的光照估计？
• RQ2 通过ARBlock在特征空间中应用Retinex理论，是否能在减少模型规模的同时提升增强质量？
• RQ3 在低曝光数据上训练的专用去噪模块能否提升鲁棒性并减少增强过程中的噪声放大？
• RQ4 在质量与参数数量之间，网络深度（ARBlock数量）的最优权衡是什么？
• RQ5 ECA注意力模块的集成如何在不显著增加模型复杂度的情况下提升特征表示？

主要发现

• SurroundNet 在真实世界低光照数据集上实现具有竞争力的性能，参数少于150K——比最先进方法小80%-98%。
• 包含四个ARBlock的模型在大多数指标上表现最佳，PSNR达到21.77，SSIM达到0.835，优于三和五个ARBlock的变体。
• 当训练3500个周期时，LED模块使SSIM提升0.08，LPIPS降低0.013，证实其在噪声抑制方面的有效性。
• ECA模块使PSNR提升2.58，SSIM提升0.022，仅增加3000个参数，展现出极高的效率。
• 视觉对比显示，SurroundNet 在不产生伪影的情况下增强了亮度、色彩和锐度，而最先进方法则常出现光晕或饱和度降低的问题。
• 消融实验表明，ASF、ARBlock、LED和ECA的组合带来最佳性能，且任一组件均非冗余。