[论文解读] Perceptual underwater image enhancement with deep learning and physical priors

Long Chen, Zheheng Jiang+6 more|arXiv (Cornell University)|Aug 21, 2020

Image Enhancement Techniques参考文献 35被引用 7

一句话总结

本文提出两种检测感知增强模型，通过检测感知器将目标检测反馈整合到水下图像增强中，利用感知损失引导生成视觉上更愉悦或有利于检测的图像。一种结合物理先验与数据驱动线索的混合水下图像合成模型实现了稳健训练，统一的 HybridDetectionGAN 框架在合成数据集和真实世界数据集上均实现了图像质量和检测准确率（mAP）的最先进性能。

ABSTRACT

Underwater image enhancement, as a pre-processing step to improve the accuracy of the following object detection task, has drawn considerable attention in the field of underwater navigation and ocean exploration. However, most of the existing underwater image enhancement strategies tend to consider enhancement and detection as two independent modules with no interaction, and the practice of separate optimization does not always help the underwater object detection task. In this paper, we propose two perceptual enhancement models, each of which uses a deep enhancement model with a detection perceptor. The detection perceptor provides coherent information in the form of gradients to the enhancement model, guiding the enhancement model to generate patch level visually pleasing images or detection favourable images. In addition, due to the lack of training data, a hybrid underwater image synthesis model, which fuses physical priors and data-driven cues, is proposed to synthesize training data and generalise our enhancement model for real-world underwater images. Experimental results show the superiority of our proposed method over several state-of-the-art methods on both real-world and synthetic underwater datasets.

研究动机与目标

• 解决水下环境中图像增强质量与下游目标检测性能之间的错位问题。
• 克服增强与检测任务分别优化所带来的局限性，即尽管视觉质量提升，但检测准确率仍不理想。
• 通过合成逼真的训练图像，缓解基于深度学习的水下图像增强中真实世界配对训练数据的缺乏问题。
• 构建一个统一框架，联合优化图像生成、增强与检测感知，实现端到端学习。
• 通过编码高质量空中图像特征的检测感知器，引导增强过程，从而提升检测准确率。

提出的方法

• 引入两种检测感知器：一种是使用局部感知损失的块级检测感知器，另一种是使用面向目标的感知损失的对象聚焦检测感知器。
• 利用检测感知器的梯度作为反馈，指导增强模型，传递关于细节和检测有利特征的知识。
• 提出一种混合水下图像合成模型，融合物理先验（如光衰减、散射）与数据驱动的深度生成组件，以生成逼真的训练数据。
• 设计一个统一的端到端框架 HybridDetectionGAN，整合合成模型、增强模型与检测感知器，实现联合优化。
• 使用源自检测感知器的感知损失训练增强模型，确保增强后的图像对目标检测有利。
• 利用在高质量空中图像上预训练的检测网络提取检测相关特征，并将其用于监督增强过程。

实验结果

研究问题

• RQ1 将检测反馈整合到图像增强过程中，能否提升水下场景下的下游目标检测准确率？
• RQ2 标准图像质量指标在水下图像增强中与检测性能的相关性如何？
• RQ3 结合物理先验与深度学习的混合合成模型，能否生成在真实世界水下图像上泛化能力更强的训练数据？
• RQ4 与独立训练的流水线相比，合成、增强与检测感知的端到端联合优化是否能带来更好的性能？
• RQ5 源自检测感知器的感知损失与传统感知损失或基于 GAN 的损失相比，在增强检测有利特征方面表现如何？

主要发现

• 所提出的面向对象的感知增强模型（OursOF）在 MultiviewUnderwater 和 ChainMM 数据集的所有类别中均实现了最高的 mAP，优于当前最先进方法。
• 在中国MM数据集上，OursOF 实现了最高的 mAP（86.6%），尽管其他方法在 UCIQE 和 UIQM 等图像质量指标上表现更优，表明图像质量与检测性能之间存在脱节。
• 混合合成模型使增强模型能够很好地泛化到真实世界水下场景，真实数据集上持续的性能提升证明了这一点。
• 标准图像质量指标（如 PSNR、MSE、UCIQE）与 mAP 之间无强相关性，表明仅依赖图像质量评估无法充分衡量检测任务中的增强性能。
• OursOF 与 OursPatch 在 UICM 和 UICONM 指标中排名前二，表明高对比度与增强的对象特征对检测有益。
• 基于检测感知器的方法相比传统增强方法（如 Fusion 和 Retinex）显著提升了检测准确率，后者常会漏检噪声大或对比度低的物体。