[论文解读] PSENet: Progressive Self-Enhancement Network for Unsupervised Extreme-Light Image Enhancement

Hue Minh Thi Nguyen, Diep Tran+2 more|arXiv (Cornell University)|Oct 3, 2022

Image Enhancement Techniques被引用 4

一句话总结

PSENet 提出了一种新颖的无监督深度学习框架，用于极端光照图像增强。该框架通过使用多个模拟曝光源进行渐进式自我增强，生成伪真实图像。通过基于感知质量评分（包括曝光合理性、局部对比度和色彩饱和度）迭代选择表现最佳的图像区域，PSENet 在无需任何真实真实图像的情况下，实现了在欠曝和过曝图像上的最先进性能。

ABSTRACT

The extremes of lighting (e.g. too much or too little light) usually cause many troubles for machine and human vision. Many recent works have mainly focused on under-exposure cases where images are often captured in low-light conditions (e.g. nighttime) and achieved promising results for enhancing the quality of images. However, they are inferior to handling images under over-exposure. To mitigate this limitation, we propose a novel unsupervised enhancement framework which is robust against various lighting conditions while does not require any well-exposed images to serve as the ground-truths. Our main concept is to construct pseudo-ground-truth images synthesized from multiple source images that simulate all potential exposure scenarios to train the enhancement network. Our extensive experiments show that the proposed approach consistently outperforms the current state-of-the-art unsupervised counterparts in several public datasets in terms of both quantitative metrics and qualitative results. Our code is available at https://github.com/VinAIResearch/PSENet-Image-Enhancement.

研究动机与目标

• 解决现有无监督方法在同时增强欠曝和过曝图像方面效果不佳的问题，这类问题在实际摄影中十分常见。
• 通过引入一种自监督的伪真实图像生成机制，克服现有无监督方法在过曝情况下表现不佳的局限性。
• 通过从同一输入的多个曝光变体中合成伪真实图像，消除对昂贵且成对的真实良好曝光图像的依赖。
• 通过渐进式优化提升图像质量，确保每轮训练的输出至少与前一轮一样好。
• 开发一种基于感知的非参考质量评分，用于指导伪真实图像构建中最佳图像区域的选择。

提出的方法

• 通过组合四个来源的图像区域构建伪真实图像：输入图像、其伽马调整后的更亮/更暗版本，以及前一训练轮次中网络自身的输出。
• 基于曝光合理性、局部对比度和色彩饱和度的非参考感知质量评分，用于评估并选择各来源中表现最佳的图像区域。
• 采用逐区域比较与融合策略（RCS），实现伪真实图像的渐进式优化，确保训练各轮次中性能持续提升。
• 使用生成的伪真实图像端到端训练增强网络，实现在无需任何真实成对真实图像的条件下进行自监督学习。
• 通过曝光合理性水平超参数 μ 优化网络，该参数控制目标亮度范围，并在欠曝与过曝情况之间实现性能平衡。
• 将伪真实图像生成机制整合进渐进式训练循环中，使网络在前一阶段的输出成为下一迭代优化的关键输入来源。

Figure 1: Visual comparison on an over-exposed scene. Most of the previous state-of-the-art failed to recover the over-exposed case except recent work proposed by Afifi et al . [ 1 ] , which is trained with full supervision.

实验结果

研究问题

• RQ1 自监督框架能否在不依赖真实真实图像的前提下，有效增强欠曝和过曝图像？
• RQ2 基于曝光合理性、对比度和饱和度的非参考感知质量评分，在指导伪真实图像生成方面是否有效？
• RQ3 利用网络自身前一阶段输出进行渐进式优化，是否能带来图像增强质量的持续提升？
• RQ4 曝光合理性水平 μ 的选择如何影响模型在极端光照条件下的泛化能力？
• RQ5 尽管缺乏成对监督，该方法是否能在 SICE 和 Afifi 等基准数据集上超越现有无监督方法？

主要发现

• 在 SICE 数据集上，PSENet 取得了最先进性能，当使用默认网络宽度（# channels ×1）时，PSNR 达到 17.74，SSIM 达到 0.704。
• 在 Afifi 数据集上，PSENet 的 PSNR 达到 19.36，SSIM 达到 0.869，优于所有无监督基线方法，且接近有监督的最先进性能。
• 使用曝光合理性水平 μ = 0.5 训练的模型在欠曝与过曝图像恢复之间实现了最佳平衡，获得了最高的定量指标。
• 视觉对比显示，与 ZeroDCE、EnlightenGAN 和 Zheng 与 Gupta [45] 相比，PSENet 生成的图像在对比度、色彩保持和细节恢复方面表现更优，尤其在阴影和高光等挑战性区域。
• 消融实验表明，所提出的质量评分与区域组合策略（RCS）显著优于先前方法，在 [25] 的基线基础上实现了 1.64 的 PSNR 提升。
• 该模型在不同网络宽度下均表现稳健，参数缩放时性能下降极小，表明其优化过程稳定且具备良好的泛化能力。

Figure 2: Overview of our proposed framework which comprises three main modules: reference image generator, pseudo GT image generator, and enhancement network. Given the input image $I$ , the reference image generator randomly generates multiple reference images with different exposure values, half