[论文解读] You Only Look Yourself: Unsupervised and Untrained Single Image Dehazing Neural Network

Boyun Li, Yuanbiao Gou+4 more|arXiv (Cornell University)|Jun 30, 2020

Image Enhancement Techniques参考文献 29被引用 14

一句话总结

本文提出 YOLY，一种新颖的无监督、无预训练深度神经网络，用于单图像去雾，能够在不依赖成对训练数据或外部图像集合的情况下，将雾霾图像解耦为场景辐射度、透射率图和大气光层。该方法通过利用自监督重建和变分推理，在无监督方法中实现了最先进性能，展示了在真实世界和合成数据集上的强大去雾能力和逼真的雾霾迁移效果。

ABSTRACT

In this paper, we study two challenging and less-touched problems in single image dehazing, namely, how to make deep learning achieve image dehazing without training on the ground-truth clean image (unsupervised) and a image collection (untrained). An unsupervised neural network will avoid the intensive labor collection of hazy-clean image pairs, and an untrained model is a ``real'' single image dehazing approach which could remove haze based on only the observed hazy image itself and no extra images is used. Motivated by the layer disentanglement idea, we propose a novel method, called you only look yourself ( extbf{YOLY}) which could be one of the first unsupervised and untrained neural networks for image dehazing. In brief, YOLY employs three jointly subnetworks to separate the observed hazy image into several latent layers, extit{i.e.}, scene radiance layer, transmission map layer, and atmospheric light layer. After that, these three layers are further composed to the hazy image in a self-supervised manner. Thanks to the unsupervised and untrained characteristics of YOLY, our method bypasses the conventional training paradigm of deep models on hazy-clean pairs or a large scale dataset, thus avoids the labor-intensive data collection and the domain shift issue. Besides, our method also provides an effective learning-based haze transfer solution thanks to its layer disentanglement mechanism. Extensive experiments show the promising performance of our method in image dehazing compared with 14 methods on four databases.

研究动机与目标

• 解决监督深度学习方法在图像去雾中依赖大规模雾霾-清晰图像对进行训练的局限性。
• 通过开发真正无监督且无预训练的方法，消除由合成训练数据引起的域偏移问题。
• 仅使用输入的雾霾图像，无需任何预训练模型或外部图像集合，实现端到端去雾。
• 探索通过去雾过程的副产品，学习到的层解耦在实现逼真雾霾迁移方面的潜力。

提出的方法

• YOLY 使用三个联合优化的子网络，将雾霾图像分解为三个潜在层：场景辐射度、透射率图和大气光。
• 网络采用自监督重建损失，以确保重建图像与输入雾霾图像匹配，从而实现无监督训练。
• 引入基于变分推理的损失（LH 和 LKL），以正则化潜在空间并提高解耦质量。
• 设计联合优化框架（J-Net），以增强三个层之间的特征表示和一致性。
• 应用正则化损失（LReg）以稳定大气光的估计，提高鲁棒性。
• 通过从源图像中提取雾霾特征并将其应用于目标图像，实现端到端的去雾和雾霾迁移。

实验结果

研究问题

• RQ1 深度神经网络是否可以在没有真实清晰图像或成对数据监督的情况下实现单图像去雾？
• RQ2 是否可以设计一种无需在大型图像集合或外部数据集上进行预训练的去雾模型？
• RQ3 层解耦在无需显式监督的情况下，对实现去雾和逼真雾霾迁移的有效性如何？
• RQ4 无监督、无预训练的去雾方法在多大程度上可以达到监督方法的最先进性能？
• RQ5 解耦的潜在表示（辐射度、透射率、光照）是否可用于从清晰图像中合成逼真的雾霾图像？

主要发现

• 在 HSTS 数据集上，YOLY 的 PSNR 达到 23.82，SSIM 达到 0.9125，优于所有无监督基线方法。
• 消融实验表明，所有组件——LH、LKL、L_J 和 LReg——均对性能有贡献，其中 L_J 贡献最大（相比基线 PSNR 提升 +1.29）。
• 与 DehazeNet 相比，YOLY 在保留细节和减少伪影方面表现出更优的定性结果。
• 该方法成功地将真实雾霾图像中的雾霾特征迁移至清晰图像，生成的雾霾分布比手工方法更逼真。
• 在雾霾迁移实验中，YOLY 生成的雾霾图像更真实地反映了现实中的雾霾模式，例如靠近相机位置雾霾更重，远处逐渐消散。
• 该模型在不同域之间表现出强大的泛化能力，在室内和室外场景中均表现良好，包括跨域迁移（室内到室外及反之）。