[论文解读] Unsupervised Night Image Enhancement: When Layer Decomposition Meets Light-Effects Suppression

Yeying Jin, Wenhan Yang+1 more|arXiv (Cornell University)|Jul 21, 2022

Image Enhancement Techniques被引用 14

一句话总结

本文提出了一种无监督深度学习框架，通过整合层分解与光效抑制网络，联合增强暗部区域并抑制亮部效应。在无监督先验和结构/高频（HF）一致性损失的引导下，该方法将图像分解为阴影、反射率和光效层，随后抑制眩光和泛光，同时增强低光照区域，在定性和定量评估中均优于当前最先进（SOTA）方法。

ABSTRACT

Night images suffer not only from low light, but also from uneven distributions of light. Most existing night visibility enhancement methods focus mainly on enhancing low-light regions. This inevitably leads to over enhancement and saturation in bright regions, such as those regions affected by light effects (glare, floodlight, etc). To address this problem, we need to suppress the light effects in bright regions while, at the same time, boosting the intensity of dark regions. With this idea in mind, we introduce an unsupervised method that integrates a layer decomposition network and a light-effects suppression network. Given a single night image as input, our decomposition network learns to decompose shading, reflectance and light-effects layers, guided by unsupervised layer-specific prior losses. Our light-effects suppression network further suppresses the light effects and, at the same time, enhances the illumination in dark regions. This light-effects suppression network exploits the estimated light-effects layer as the guidance to focus on the light-effects regions. To recover the background details and reduce hallucination/artefacts, we propose structure and high-frequency consistency losses. Our quantitative and qualitative evaluations on real images show that our method outperforms state-of-the-art methods in suppressing night light effects and boosting the intensity of dark regions.

研究动机与目标

• 解决夜间图像中低照度与不均匀光效（如眩光、泛光）的双重挑战。
• 在不导致过饱和和伪影的前提下，抑制光效而不过度增强亮部区域。
• 增强暗部区域的同时保留背景细节并减少幻觉现象。
• 开发一种无监督方法，避免依赖昂贵的成对真实世界数据或合成光效渲染。
• 提高在区分消色光效（白色光效）与背景场景方面的鲁棒性。

提出的方法

• 该方法使用层分解网络将输入的夜间图像分离为三个分量：阴影、反射率（背景）和光效层，通过无监督的分层特定先验损失进行引导。
• 光效抑制网络在无配对图像（有光效与无光效）上以无监督方式训练，利用估计的光效层作为指导，聚焦并抑制光效区域。
• 引入基于VGG的感知特征与引导滤波的结构和高频（HF）特征一致性损失，以保留背景细节并抑制伪影。
• 通过端到端训练联合优化分解与抑制过程，确保光效抑制与暗部区域增强之间的对齐。
• 利用光效层作为掩码，引导抑制网络，实现在光效为白色或消色时的精确定位与抑制。
• 通过利用无监督的一致性损失和分解先验，避免依赖成对真实数据或合成光效渲染。

实验结果

研究问题

• RQ1 无监督层分解能否有效分离夜间图像中的阴影、反射率和光效分量？
• RQ2 能否在无需成对真实数据或合成光效渲染的情况下实现有效的光效抑制？
• RQ3 结构与高频特征一致性损失能否在增强过程中减少幻觉并保留背景细节？
• RQ4 使用估计的光效层引导抑制网络是否能提高抑制精度，特别是针对白色或消色光效？
• RQ5 与顺序处理相比，分解与抑制的联合训练是否在夜间图像增强中更具有效性？

主要发现

• 所提方法在真实夜间图像上，无论是定量还是定性评估，均优于当前最先进方法，在抑制光效和增强暗部区域方面表现更优。
• 消融研究证实，分解与抑制的联合训练至关重要，顺序处理会导致伪影放大或抑制效果不佳。
• 使用光效层引导显著提升了抑制精度，尤其在白色和多色光效情况下，实现了与背景区域更好的分离。
• 结构与高频特征一致性损失能有效抑制伪影并恢复缺失的背景细节，减少幻觉现象。
• 该方法无需成对训练数据或合成光效渲染，即可实现卓越性能，展现出在真实世界夜间图像上的强大泛化能力。
• 定性结果表明，该方法避免了对亮部区域的过度增强，保持了自然外观，而现有方法往往会放大光效。