[论文解读] Simplifying Low-Light Image Enhancement Networks with Relative Loss Functions

Yu Zhang, Xiaoguang Di+7 more|arXiv (Cornell University)|Apr 6, 2023

Image Enhancement Techniques被引用 6

一句话总结

本文提出FLW-Net，一种轻量级低光照图像增强网络，通过基于比较特征学习的两种相对损失函数——L_brightness和L_structure，简化模型架构。通过用相对比较替代绝对参考监督，该方法减少了“一对多”问题，实现了参数显著减少、推理速度更快的高质量增强，在基准数据集上达到SOTA性能，参数量最多减少95%。

ABSTRACT

Image enhancement is a common technique used to mitigate issues such as severe noise, low brightness, low contrast, and color deviation in low-light images. However, providing an optimal high-light image as a reference for low-light image enhancement tasks is impossible, which makes the learning process more difficult than other image processing tasks. As a result, although several low-light image enhancement methods have been proposed, most of them are either too complex or insufficient in addressing all the issues in low-light images. In this paper, to make the learning easier in low-light image enhancement, we introduce FLW-Net (Fast and LightWeight Network) and two relative loss functions. Specifically, we first recognize the challenges of the need for a large receptive field to obtain global contrast and the lack of an absolute reference, which limits the simplification of network structures in this task. Then, we propose an efficient global feature information extraction component and two loss functions based on relative information to overcome these challenges. Finally, we conducted comparative experiments to demonstrate the effectiveness of the proposed method, and the results confirm that the proposed method can significantly reduce the complexity of supervised low-light image enhancement networks while improving processing effect. The code is available at \url{https://github.com/hitzhangyu/FLW-Net}.

研究动机与目标

• 为解决设计轻量级、高性能低光照图像增强网络的挑战。
• 克服在监督式低光照增强中因缺乏绝对参考而导致的“一对多”问题，即像素级监督无绝对参考。
• 通过用高效全局特征提取模块替代复杂组件，简化网络架构。
• 在不增加模型复杂度的前提下，提升增强结果在对比度、色彩保真度和去噪方面的质量。
• 通过大幅减少参数量，同时保持或提升性能，实现实时应用。

提出的方法

• 提出FLW-Net，一种轻量级网络，其全局特征提取（GFE）组件利用基于直方图的全局信息和高阶曲线调整实现亮度校正。
• 引入两种相对损失函数：L_brightness，通过比较图像块之间的亮度水平，引导全局对比度调整；L_structure，通过强制块间结构相似性，保留细节。
• L_brightness和L_structure的设计目标是在增强图像与参考图像在相对特征上相似时实现最优性能，而非像素值完全一致。
• 相对损失减少了对绝对真实值的依赖，缓解了低光照增强中的“一对多”问题。
• GFE模块以极低计算成本高效捕获全局上下文，支持紧凑的网络结构。
• 该方法可与现有架构兼容，例如RetinexNet和KIND，在其训练损失中加入后可提升性能。

Figure 1: Visual comparison with some SOTA methods. (a) The original input low-light image. (b) to (e) are enhanced images produced by Zero-DCE++ (C. Li \BOthers ., \APACyear 2021 ) , KIND++ (Y. Zhang, Guo \BCBL \BOthers ., \APACyear 2021 ) and the proposed method in this paper. (f) The reference im

实验结果

研究问题

• RQ1 通过简化架构与损失设计，轻量级网络是否能在低光照图像增强中实现SOTA性能？
• RQ2 相对损失函数是否能有效替代低光照增强中的绝对监督，从而减少“一对多”问题？
• RQ3 基于直方图的曲线调整进行全局特征提取，是否在轻量级网络中优于标准全局建模方法？
• RQ4 所提出的损失函数是否能在不增加模型复杂度的前提下，提升色彩保真度、对比度和去噪效果？
• RQ5 在保持或提升增强质量的前提下，参数量最多可减少多少？

主要发现

• FLW-Net在LOL-V1数据集上仅使用0.43M参数即达到SOTA性能，相比原始KIND方法减少95%参数。
• 当与KIND中的DecomNet结合时，所提出的相对损失将PSNR从15.68提升至18.94，SSIM从0.50提升至0.80，同时参数量减少95%。
• 视觉结果表明，增强图像在色彩准确性方面最接近参考图像，优于Zero-DCE++和KIND++。
• L_brightness与L_structure结合RetinexNet，在细节保留和噪声抑制方面表现更优，如局部放大对比所示。
• 该方法在多种低光照条件下（包括严重噪声和色彩偏差）均保持高性能。
• 相对损失使模型在无需精确像素级真实标签的情况下实现有效训练，提升了对模糊监督的鲁棒性。

Figure 2: The detailed structure of the proposed method.