[论文解读] You Only Need One Color Space: An Efficient Network for Low-light Image Enhancement

Qingsen Yan, Yixu Feng+6 more|arXiv (Cornell University)|Feb 8, 2024

Image Enhancement Techniques被引用 18

一句话总结

CIDNet 引入一个可训练的 Horizontal/Vertical-Intensity (HVI) 颜色空间，以及一个带轻量级交叉注意力的双向网络，以解耦亮度与颜色，在11个数据集上实现最先进的结果，同时复杂度更低。

ABSTRACT

Low-Light Image Enhancement (LLIE) task tends to restore the details and visual information from corrupted low-light images. Most existing methods learn the mapping function between low/normal-light images by Deep Neural Networks (DNNs) on sRGB and HSV color space. Nevertheless, enhancement involves amplifying image signals, and applying these color spaces to low-light images with a low signal-to-noise ratio can introduce sensitivity and instability into the enhancement process. Consequently, this results in the presence of color artifacts and brightness artifacts in the enhanced images. To alleviate this problem, we propose a novel trainable color space, named Horizontal/Vertical-Intensity (HVI). It not only decouples brightness and color from RGB channels to mitigate the instability during enhancement but also adapts to low-light images in different illumination ranges due to the trainable parameters. Further, we design a novel Color and Intensity Decoupling Network (CIDNet) with two branches dedicated to processing the decoupled image brightness and color in the HVI space. Within CIDNet, we introduce the Lightweight Cross-Attention (LCA) module to facilitate interaction between image structure and content information in both branches, while also suppressing noise in low-light images. Finally, we conducted 22 quantitative and qualitative experiments to show that the proposed CIDNet outperforms the state-of-the-art methods on 11 datasets. The code is available at https://github.com/Fediory/HVI-CIDNet.

研究动机与目标

• 动机：解决由基于 RGB 的颜色空间（sRGB/HSV）在嘈杂、曝光不足条件下引起的低光增强不稳定性。
• 提出一个可训练的 HVI 颜色空间，能够解耦亮度和颜色，并适应不同的照明水平。
• 开发 CIDNet，一个在 HVI 空间中运行的两分支网络（亮度为主与颜色为主），以提高鲁棒性和质量。
• 结合双向轻量级跨注意力模块，在去噪的同时实现两个分支之间的交互。

提出的方法

• 引入带可训练参数的 Horizontal/Vertical-Intensity (HVI) 颜色空间，以及从 sRGB 到 HVI 的可逆变换。
• 设计一个两路径网络（CIDNet），其中一条路径在 HVI 转换后处理亮度（Intensity），另一条处理颜色（HV）。
• 嵌入一个 Lightweight Cross-Attention (LCA) 模块，以实现跨分支交互和降噪。
• 使用一个双向 UNet 架构（CID Two-way UNet），带有 Cross-Attention 块、Intensity Enhance Layer (IEL) 和 Color Denoise Layer (CDL)。
• 实现一个损失函数，在 sRGB 和 HVI 空间中结合 L1、边缘和感知损失来监督训练。

实验结果

研究问题

• RQ1 可训练的 HVI 颜色空间是否能够减轻在基于 sRGB/HSV 的 LLIE 方法中常见的颜色/亮度伪影？
• RQ2 两分支 CIDNet 是否能够利用解耦的亮度和颜色，在不同照明和噪声水平下实现更好的还原？
• RQ3 轻量级跨注意力模块是否在不过度增加计算量的前提下改善亮度和颜色分支之间的交互？
• RQ4 在 HVI 和 sRGB 空间中的联合损失对最终感知质量的影响？
• RQ5 与最先进方法相比，CIDNet 在多个 LLIE 数据集上的表现如何？

主要发现

• 采用 HVI 的 CIDNet 在 LOLv1/v2 数据集上实现了优越的 SSIM 和 LPIPS，同时保持较低的 FLOPs (~7.57 GFLOPs)。
• CIDNet 在多个困难数据集（SICE、SID）上取得最先进结果，并且在 SID-Total-Dark 的 PSNR/SSIM/LPIPS 方面明显优于 LEDNet。
• 消融研究表明 HVI 空间在 LLIE 上优于 sRGB/HSV，且带 Cross-Attention 的双向 UNet 进一步提升 PSNR。
• 所提出的 LCA 模块提供无偏差、线性复杂度的跨分支交互，优于自注意力变体的还原质量。
• 在 HVI 和 sRGB 空间中联合监督并结合感知损失，相比单一空间损失显著提升 LPIPS 和感知质量。