[论文解读] Toward Fast, Flexible, and Robust Low-Light Image Enhancement

Long Ma, Tengyu Ma+3 more|arXiv (Cornell University)|Apr 21, 2022

Image Enhancement Techniques被引用 53

一句话总结

本文提出 Self-Calibrated Illumination (SCI)，一个轻量级框架，使用权重共享级联照明学习加上自校准模块，实现快速、鲁棒、无监督的低光图像增强，并提升下游任务。

ABSTRACT

Existing low-light image enhancement techniques are mostly not only difficult to deal with both visual quality and computational efficiency but also commonly invalid in unknown complex scenarios. In this paper, we develop a new Self-Calibrated Illumination (SCI) learning framework for fast, flexible, and robust brightening images in real-world low-light scenarios. To be specific, we establish a cascaded illumination learning process with weight sharing to handle this task. Considering the computational burden of the cascaded pattern, we construct the self-calibrated module which realizes the convergence between results of each stage, producing the gains that only use the single basic block for inference (yet has not been exploited in previous works), which drastically diminishes computation cost. We then define the unsupervised training loss to elevate the model capability that can adapt to general scenes. Further, we make comprehensive explorations to excavate SCI's inherent properties (lacking in existing works) including operation-insensitive adaptability (acquiring stable performance under the settings of different simple operations) and model-irrelevant generality (can be applied to illumination-based existing works to improve performance). Finally, plenty of experiments and ablation studies fully indicate our superiority in both quality and efficiency. Applications on low-light face detection and nighttime semantic segmentation fully reveal the latent practical values for SCI. The source code is available at https://github.com/vis-opt-group/SCI.

研究动机与目标

• 开发一个快速、轻量级的低光图像增强框架，在真实世界、未知场景中表现良好。
• 通过权重共享和自校准机制实现计算成本降低的鲁棒性。
• 实现无监督训练以适应多样化场景并提升泛化能力。
• 通过下游任务如暗脸检测和夜间语义分割展示实际价值。

提出的方法

• 将照明学习形式化为级联的残差过程，在各阶段使用共享模块以实现快速推理。
• 引入自校准模块，在每个阶段对输入进行增强，以促进阶段输出的收敛。
• 定义一个结合保真度与空间变异平滑的无监督损失，用于在没有成对数据的情况下训练模型。
• 使用残差照明学习单元来估计照明，促成稳定性与效率。
• 证明自校准模块可以与现有基于照明的网络结合，以提高它们的性能（模型无关的泛化性）。

实验结果

研究问题

• RQ1 SCI 在通过级联阶段共享权重的同时，能否在保持或提升质量的前提下加速低光增强？
• RQ2 自校准模块是否强制推进阶段输出的收敛，并在不同场景和简单算子设置下提升鲁棒性？
• RQ3 当与增强结合使用时，该框架在暗脸检测和夜间语义分割等下游任务中是否有效？
• RQ4 在没有成对真实标注的情况下，无监督训练损失在照明估计的引导程度有多大？
• RQ5 SCI 是否可以泛化到 proposed 架构之外的其他基于照明的方法？

主要发现

• SCI 以显著更低的计算量实现与多种 CNN 基于方法相比的竞争性视觉质量。
• 自校准模块使阶段输出收敛，从而可以仅用一个模块进行测试以实现加速。
• 将 SCI 与现有基于照明的方法（如 RUAS）结合时可以提升性能，表明模型无关的泛化性。
• 在暗脸检测和夜间语义分割中的应用展示了 SCI 超越图像增强的实际效益。
• 该框架在不同的简单算子设置下保持稳定性能，展示对操作的鲁棒性。