[论文解读] Semantic-Guided Zero-Shot Learning for Low-Light Image/Video Enhancement

Shen Zheng, Gaurav Gupta|arXiv (Cornell University)|Oct 3, 2021

Image Enhancement Techniques被引用 11

一句话总结

本文提出了一种语义引导的零样本低光照图像与视频增强网络（SGZ），该网络在无需成对数据、无配对数据集或分割标注的情况下实现图像增强。通过使用增强因子提取网络、循环图像增强模块以及无监督语义分割头，该方法在感知质量方面达到最先进水平，并在目标检测与分割等下游任务中表现优异，模型参数量仅为 0.011M，单张图像推理时间仅 0.001 秒。

ABSTRACT

Low-light images challenge both human perceptions and computer vision algorithms. It is crucial to make algorithms robust to enlighten low-light images for computational photography and computer vision applications such as real-time detection and segmentation. This paper proposes a semantic-guided zero-shot low-light enhancement network (SGZ) which is trained in the absence of paired images, unpaired datasets, and segmentation annotation. Firstly, we design an enhancement factor extraction network using depthwise separable convolution for an efficient estimate of the pixel-wise light deficiency of an low-light image. Secondly, we propose a recurrent image enhancement network to progressively enhance the low-light image with affordable model size. Finally, we introduce an unsupervised semantic segmentation network for preserving the semantic information during intensive enhancement. Extensive experiments on benchmark datasets and a low-light video demonstrate that our model outperforms the previous state-of-the-art. We further discuss the benefits of the proposed method for low-light detection and segmentation. Code is available at https://github.com/ShenZheng2000/Semantic-Guided-Low-Light-Image-Enhancement

研究动机与目标

• 解决现有低光照增强方法依赖成对图像、无配对数据集或分割标注的局限性。
• 提升低光照图像与视频增强的感知质量与鲁棒性，尤其适用于实时与移动应用。
• 在增强过程中保持高层语义信息，以提升目标检测与语义分割等下游计算机视觉任务的性能。
• 开发一种轻量化、高效模型，适用于资源受限设备的部署。

提出的方法

• 使用深度可分离卷积和对称跳跃连接的增强因子提取（EFE）网络，用于估计低光照图像中像素级的光照不足。
• 通过堆叠多个循环阶段，逐步增强图像的循环图像增强（RIE）网络，将前一阶段的输出作为下一阶段的输入。
• 利用特征金字塔网络计算分割损失的无监督语义分割（USS）网络，无需真实标注，有助于语义信息的保持。
• 总损失函数结合非参考图像质量度量与分割损失，用于训练EFE网络，而RIE与USS在训练过程中参数冻结。
• 端到端训练中，通过RIE与USS的损失反向传播更新EFE网络，实现无需成对数据或标注的零样本学习。
• 推理阶段仅依次使用EFE与RIE网络对低光照图像进行增强，确保低延迟与极低参数量。

实验结果

研究问题

• RQ1 低光照增强模型是否能在不依赖成对训练数据的情况下实现高感知质量？
• RQ2 在无分割标注的情况下，如何在低光照增强过程中保持语义信息？
• RQ3 轻量化、高效架构是否能在图像质量与下游视觉任务中超越现有最先进方法？
• RQ4 语义引导增强在多大程度上提升了低光照条件下目标检测与语义分割的性能？

主要发现

• 在用户研究中，该方法在 5 分制评分中达到 4.04 分，显著优于先前方法（Zero-DCE 为 2.60 分，EnlightenGAN 为 2.94 分）。
• 在 DarkBDD 数据集上，该模型提升了目标检测性能，检测到的车辆数量超过所有基线方法，包括 Zero-DCE 与 KinD。
• 在 DarkCityScape 数据集上，该模型达到 65.87% 的 mIOU 与 74.50% 的 mPA，语义分割精度全面超越所有对比方法。
• 模型每张图像仅需 0.001 秒处理时间，参数量仅 0.011 百万，FLOPs 为 0.120 十亿，适用于移动与实时应用。
• 在 LIME 与 VV 数据集上的视觉对比显示，所提方法能有效增强暗部区域，保持色彩平衡，且未出现其他方法常见的噪声、模糊或伪影。
• 失败案例包括强运动模糊与镜面反射，模型无法解决，表明其在处理复杂光学畸变方面仍存在局限。