[论文解读] Shallow-UWnet : Compressed Model for Underwater Image Enhancement

Ankita Naik, Apurva Swarnakar+1 more|arXiv (Cornell University)|Jan 6, 2021

Image Enhancement Techniques参考文献 8被引用 25

一句话总结

Shallow-UWnet 提供一个轻量级的水下图像增强 CNN，参数远少于同类模型、测试速度更快，同时在多个数据集上达到与最先进模型相当的结果。

ABSTRACT

Over the past few decades, underwater image enhancement has attracted increasing amount of research effort due to its significance in underwater robotics and ocean engineering. Research has evolved from implementing physics-based solutions to using very deep CNNs and GANs. However, these state-of-art algorithms are computationally expensive and memory intensive. This hinders their deployment on portable devices for underwater exploration tasks. These models are trained on either synthetic or limited real world datasets making them less practical in real-world scenarios. In this paper we propose a shallow neural network architecture, extbf{Shallow-UWnet} which maintains performance and has fewer parameters than the state-of-art models. We also demonstrated the generalization of our model by benchmarking its performance on combination of synthetic and real-world datasets.

研究动机与目标

• 通过减小模型规模和计算量，推动便携设备上的实时水下图像增强。
• 提出一个以效率为目标的浅层 CNN 架构（Shallow-UWnet）。
• 展示在合成与真实世界水下数据集上的泛化能力。
• 在多个数据集上使用标准质量度量对比最先进方法进行基准测试。

提出的方法

• 一个浅层的全连接卷积网络，串联三个密集连接卷积块。
• 输入图像 256x256 RGB；初始 3x3 卷积映射到 64 个特征图并使用 ReLU；包含带 Dropout 的三个 ConvBlock；最后 3x3 卷积生成增强图像。
• 跳跃连接将原始输入图像与每个 ConvBlock 的输出拼接，以保留基础图像信息。
• 损失函数将像素级 MSE 与 VGG 感知损失结合，用于结构相似性，L_TOTAL = L_MSE + L_VGG。
• 训练使用 Adam 优化器（学习率=0.0002），Dropout=0.2，批量大小=1；数据集 EUVP；50 个 epoch（约10 小时）。
• 评估在多个水下数据集上使用 PSNR、SSIM 和 UIQM 指标。

实验结果

研究问题

• RQ1 一个浅层网络是否能在多样化的水下数据集上实现与更深层模型相当的增强质量？
• RQ2 所提出的架构在合成与真实世界的水下图像上是否具有良好的泛化性？
• RQ3 在水下图像增强中，模型大小、速度与质量之间的权衡是什么？
• RQ4 在标准基准测试中，Shallow-UWnet 相对于 WaterNet、FUnIE-GAN 和 Deep SESR 的表现如何？

主要发现

• Shallow-UWnet 在参数显著更少的情况下实现与最先进方法相当的定量性能。
• 模型拥有 2,19,840 个参数，并展示了压缩与速度方面的好处（表2中报告的压缩比和测试速度）。
• 在 EUVP-Dark 上，Shallow-UWnet 在比较模型中取得最高的 PSNR、SSIM 和 UIQM。
• 在 UFO-120 上，Shallow-UWnet 在 PSNR/SSIM/UIQM 方面相对于 Deep SESR 位居第二。
• 在 UIEB 上，Shallow-UWnet 在 UIQM 与 PSNR/SSIM 方面具备竞争力， WaterNet 有时因在 UIEBD 上训练而超越它。
• 总体而言，Shallow-UWnet 在多样化数据集上具有良好的泛化能力，且由于参数量减少和更快的测试，带来接近实时的性能。