[论文解读] Self-Reference Deep Adaptive Curve Estimation for Low-Light Image Enhancement

Jianyu Wen, Chen‐Hao Wu+3 more|arXiv (Cornell University)|Aug 16, 2023

Image Enhancement Techniques被引用 4

一句话总结

本文提出 Self-DACE，一种基于自参考深度自适应曲线估计与去噪的两阶段无监督低光照图像增强方法。它采用轻量级卷积神经网络（CNN），通过基于 Retinex 理论和简化相机模型的新型损失函数学习局部增强曲线，在保持高效性的同时，实现了视觉质量与定量指标的最先进性能，适用于边缘设备部署。

ABSTRACT

In this paper, we propose a 2-stage low-light image enhancement method called Self-Reference Deep Adaptive Curve Estimation (Self-DACE). In the first stage, we present an intuitive, lightweight, fast, and unsupervised luminance enhancement algorithm. The algorithm is based on a novel low-light enhancement curve that can be used to locally boost image brightness. We also propose a new loss function with a simplified physical model designed to preserve natural images' color, structure, and fidelity. We use a vanilla CNN to map each pixel through deep Adaptive Adjustment Curves (AAC) while preserving the local image structure. Secondly, we introduce the corresponding denoising scheme to remove the latent noise in the darkness. We approximately model the noise in the dark and deploy a Denoising-Net to estimate and remove the noise after the first stage. Exhaustive qualitative and quantitative analysis shows that our method outperforms existing state-of-the-art algorithms on multiple real-world datasets.

研究动机与目标

• 解决缺乏适用于边缘设备的通用、高效且无监督的低光照增强方法的问题。
• 克服现有基于曲线的方法在复杂光照条件下失效并引入伪影的局限性。
• 开发一种轻量化、具备实时处理能力的网络，用于亮度增强，且无需成对训练数据。
• 通过无监督去噪模块抑制亮度增强过程中放大的噪声。
• 确保增强图像在色彩保真度、结构和自然外观方面的保留。

提出的方法

• 提出一种新颖的自参考损失函数，结合 Retinex 理论与简化物理相机模型，以指导基于曲线的增强。
• 引入参数化、灵活的自适应调整曲线，实现在不引起全局过曝的前提下实现局部亮度增强。
• 采用轻量级 CNN（Luminance-Net）预测每个像素的增强曲线，以保留局部图像结构。
• 通过迭代应用学习到的曲线，逐步提升图像亮度，同时保持单调性。
• 部署独立的 Denoising-Net 以估计并抑制亮度增强后暗区放大的噪声。
• 采用包含全局色彩、结构相似性与平滑性项的多组件损失函数，以确保视觉质量。

实验结果

研究问题

• RQ1 轻量化、无监督的深度学习方法是否能在无需成对训练数据的情况下实现优越的低光照增强效果？
• RQ2 基于 Retinex 理论与物理建模的自参考损失函数在保留图像结构与色彩方面有多有效？
• RQ3 在复杂光照条件下，自适应的、局部学习的曲线在多大程度上优于固定或全局的伽马函数？
• RQ4 无监督去噪模块是否能有效抑制亮度增强过程中引入的噪声？
• RQ5 两阶段设计（亮度增强 + 去噪）是否相比单阶段方法带来更优的视觉与定量性能？

主要发现

• Self-DACE 在 LOL、LSRW 和 SCIE Part2 数据集上，于 PSNR、SSIM、LPIPS 和 CIEDE2000 指标上均优于八种最先进方法。
• 仅 Stage-I 即在多数指标上达到最佳或第二佳结果，证明了亮度增强组件的有效性。
• 完整两阶段方法实现了最高视觉质量，相比 ZeroDCE、KinD++ 和 SCI 等方法，过渡更平滑，伪影更少。
• 消融实验证实，所有损失组件（全局色彩、平滑性、结构相似性）对最优性能均不可或缺。
• 该模型计算效率高，参数量与 FLOPs 均低于 KinD、KinD++ 和 EnGAN，适用于边缘设备部署。
• 视觉对比显示，Self-DACE 能有效增强暗区，同时避免亮区过曝、色彩偏移或边缘伪影的引入。