[论文解读] You Only Need 90K Parameters to Adapt Light: A Light Weight Transformer for Image Enhancement and Exposure Correction

Ziteng Cui, Kunchang Li+6 more|arXiv (Cornell University)|May 30, 2022

Image Enhancement Techniques被引用 77

一句话总结

简要：引入 Illumination Adaptive Transformer (IAT)，这是一种约有 9 万参数的轻量级变换器，能够自适应 ISP 相关参数，在复杂光照条件下提升图像并改善下游任务。

ABSTRACT

Challenging illumination conditions (low-light, under-exposure and over-exposure) in the real world not only cast an unpleasant visual appearance but also taint the computer vision tasks. After camera captures the raw-RGB data, it renders standard sRGB images with image signal processor (ISP). By decomposing ISP pipeline into local and global image components, we propose a lightweight fast Illumination Adaptive Transformer (IAT) to restore the normal lit sRGB image from either low-light or under/over-exposure conditions. Specifically, IAT uses attention queries to represent and adjust the ISP-related parameters such as colour correction, gamma correction. With only ~90k parameters and ~0.004s processing speed, our IAT consistently achieves superior performance over SOTA on the current benchmark low-light enhancement and exposure correction datasets. Competitive experimental performance also demonstrates that our IAT significantly enhances object detection and semantic segmentation tasks under various light conditions. Training code and pretrained model is available at https://github.com/cuiziteng/Illumination-Adaptive-Transformer.

研究动机与目标

• 解决现实世界照明变化对视觉质量及下游视觉任务的挑战。
• 开发一个轻量、移动友好的模型，通过考虑 ISP 过程将输入的 sRGB 图像映射到良好曝光的目标。
• 在基于 transformer 的框架中，将局部像素级调整与全局 ISP 参数估计解耦。
• 展示在低光增强、曝光校正及下游检测/分割任务上的优越性能，同时保持高效。

提出的方法

• 将 ISP 诱导的光照变化分解为局部像素级分支和全局 ISP 分支。
• 在局部分支中用深度卷积替代标准自注意力，以保持模型轻量化。
• 在全局 ISP 分支中使用可学习的注意力查询来预测颜色变换矩阵和 gamma，指导类似 ISP 的调整。
• 引入新颖的光归一化和 Layer Scale，以稳定轻量级 transformer 模块的训练。
• 实现双分支架构：Pixel-wise Enhancement Module（本地）和 Global Prediction Module（全局），以估计局部映射（M, A）和 ISP 参数（W, gamma）。
• 用面向增强数据集的 L1 风格损失与用于曝光校正的标准损失的混合方式对模型进行优化，并结合数据增强和余弦学习率调度。

实验结果

研究问题

• RQ1 超轻量级 transformer 基框架是否能够适应 ISP 相关参数，在多样光照条件下改善 sRGB 图像？
• RQ2 将局部像素级调整与全局 ISP 参数估计解耦，是否能带来更好的恢复质量与更广泛的任务鲁棒性？
• RQ3 IAT 在低级图像增强、曝光校正及高级任务（检测/分割）方面相较于最新方法，在参数最小且推理速度快的前提下的表现如何？
• RQ4 提议的方法在不同分辨率下是否具备移动友好性和可扩展性，无需重采样？
• RQ5 在挑战性照明下，IAT 对下游视觉任务的影响是什么？

主要发现

• IAT 在低光增强和曝光校正基准上取得了最先进的性能，仅有 0.09M 参数。
• 推理速度约为每张图像 0.004s，远快于竞争方法（约 1s）。
• 模型在各种光照条件下的高级任务（如低光目标检测和语义分割）显示出具有竞争力或更优的结果。
• IAT 通过在局部分支使用深度卷积和全局分支的 transformer 来预测 ISP 相关参数（颜色矩阵和 gamma），保持轻量级。
• 在 LOL、MIT-Adobe FiveK、EXDark、ACDC、TYOL 的广泛实验显示 PSNR/SSIM 和 mAP/mIOU 的提升，以及有利的效率指标。
• 架构实现了低级与高级视觉任务的联合增强，消融研究突出两分支设计和光归一化的好处。