[论文解读] Towards Fast and Light-Weight Restoration of Dark Images

Mohit Lamba, Atul Balaji+1 more|arXiv (Cornell University)|Nov 28, 2020

Image Enhancement Techniques参考文献 24被引用 15

一句话总结

本文提出LLPackNet，一种用于实时增强极暗、高分辨率图像的快速且轻量级深度学习架构。通过在低分辨率空间中执行大部分计算，并引入新颖的Pack和UnPack操作，该方法相比最先进方法将模型参数减少2–7倍，内存使用减少2–3倍，推理时间缩短5–20倍，实现了接近实时的性能（在CPU上处理2848×4256图像仅需3秒），同时保持了具有竞争力的重建质量。

ABSTRACT

The ability to capture good quality images in the dark and near-zero lux conditions has been a long-standing pursuit of the computer vision community. The seminal work by Chen et al. [5] has especially caused renewed interest in this area, resulting in methods that build on top of their work in a bid to improve the reconstruction. However, for practical utility and deployment of low-light enhancement algorithms on edge devices such as embedded systems, surveillance cameras, autonomous robots and smartphones, the solution must respect additional constraints such as limited GPU memory and processing power. With this in mind, we propose a deep neural network architecture that aims to strike a balance between the network latency, memory utilization, model parameters, and reconstruction quality. The key idea is to forbid computations in the High-Resolution (HR) space and limit them to a Low-Resolution (LR) space. However, doing the bulk of computations in the LR space causes artifacts in the restored image. We thus propose Pack and UnPack operations, which allow us to effectively transit between the HR and LR spaces without incurring much artifacts in the restored image. We show that we can enhance a full resolution, 2848 x 4256, extremely dark single-image in the ballpark of 3 seconds even on a CPU. We achieve this with 2 - 7x fewer model parameters, 2 - 3x lower memory utilization, 5 - 20x speed up and yet maintain a competitive image reconstruction quality compared to the state-of-the-art algorithms.

研究动机与目标

• 解决在边缘设备上实时、低资源条件下增强极暗、高分辨率图像的挑战。
• 克服现有方法对高GPU内存和处理能力的依赖。
• 设计一种在保持高重建质量的同时最小化模型大小、延迟和内存占用的网络架构。
• 开发一种自包含的机制，可在推理过程中无需真实标签自动估计放大因子。
• 实现在计算资源有限的嵌入式系统、智能手机和监控摄像头上的低光照增强技术的实际部署。

提出的方法

• 提出一种新颖的Pack操作，通过将空间像素重新排列至通道维度，以因子α下采样特征图，保留信息并实现大规模下采样。
• 引入UnPack操作作为可学习的、快速的上采样替代方案，用于替代转置卷积和插值，实现从低分辨率特征高效重建。
• 将所有主要网络计算限制在低分辨率空间，以大幅降低计算成本和内存使用。
• 集成一种轻量级、输入自适应的放大机制，可直接从输入图像估计最优图像增益因子，从而在推理过程中无需依赖真实标签。
• 采用多尺度特征融合策略，利用Pack操作带来的大感受野提升细节恢复能力。
• 用UnPack替代标准上采样层（如转置卷积），以减少参数量并加速推理。

实验结果

研究问题

• RQ1 深度神经网络是否能在仅使用CPU和边缘设备有限内存与处理能力的条件下，实现高质量的暗光图像恢复？
• RQ2 如何在不造成显著信息损失的前提下实现大规模下采样，从而实现在低分辨率特征空间中的高效计算？
• RQ3 在最小化伪影和计算成本的前提下，将特征高效上采样回高分辨率的最有效且高效的方法是什么？
• RQ4 是否能从输入图像中自动估计低光照图像的放大因子，而无需在推理过程中使用真实标签？
• RQ5 与传统下采样和上采样操作相比，所提出的Pack/UnPack机制在速度、内存占用和重建质量方面表现如何？

主要发现

• LLPackNet在CPU上处理2848×4256的极暗图像约需3秒，显著快于现有方法。
• 与最先进方法相比，该方法将模型参数减少2–7倍，内存利用率降低2–3倍。
• 相比SOTA网络，推理速度提升5–20倍，其中UnPack操作比转置卷积快3–4倍。
• 所提出的Pack/UnPack操作在大范围下采样和上采样中，相比最大池化、步长大卷积和插值，实现了更好的特征保留和重建质量。
• 自动放大机制可在未知场景下实现鲁棒性能，且无需真实标签进行增益估计。
• 定性结果表明，LLPackNet-4×在色彩保真度和模糊减少方面优于LLPackNet-8×，证明了自适应下采样因子的优势。