[论文解读] Variational Image Restoration Network

Zongsheng Yue, Hongwei Yong+3 more|arXiv (Cornell University)|Aug 25, 2020

Advanced Image Processing Techniques参考文献 80被引用 6

一句话总结

该论文提出了一种变分图像复原网络，通过变分推断显式建模复杂、像素级非独立同分布（non-i.i.d.）的高斯噪声与通用图像退化过程，利用两个深度神经网络联合推断潜在的干净图像与噪声分布。该方法在图像去噪、超分辨率和JPEG去块效应任务中均达到最先进性能，通过显式建模真实退化与噪声，实现了比现有深度学习方法更优的泛化能力。

ABSTRACT

Deep neural networks (DNNs) have achieved significant success in image restoration tasks by directly learning a powerful non-linear mapping from corrupted images to their latent clean ones. However, there still exist two major limitations for these deep learning (DL)-based methods. Firstly, the noises contained in real corrupted images are very complex, usually neglected and largely under-estimated in most current methods. Secondly, existing DL methods are mostly trained on one pre-assumed degradation process for all of the training image pairs, such as the widely used bicubic downsampling assumption in the image super-resolution task, inevitably leading to poor generalization performance when the true degradation does not match with such assumed one. To address these issues, we propose a unified generative model for the image restoration, which elaborately configures the degradation process from the latent clean image to the observed corrupted one. Specifically, different from most of current methods, the pixel-wisely non-i.i.d. Gaussian distribution, being with more flexibility, is adopted in our method to fit the complex real noises. Furthermore, the method is built on the general image degradation process, making it capable of adapting diverse degradations under one single model. Besides, we design a variational inference algorithm to learn all parameters involved in the proposed model with explicit form of objective loss. Specifically, beyond traditional variational methodology, two DNNs are employed to parameterize the posteriori distributions, one to infer the distribution of the latent clean image, and another to infer the distribution of the image noise. Extensive experiments demonstrate the superiority of the proposed method on three classical image restoration tasks, including image denoising, image super-resolution and JPEG image deblocking.

研究动机与目标

• 解决现有基于深度学习的图像复原方法存在的局限性，即假设退化过程简单且固定，忽略真实世界中复杂的噪声特性。
• 通过将图像退化过程建模为从干净图像到受损图像的灵活可学习变换，提升模型泛化能力。
• 显式建模真实受损图像中复杂、非独立同分布的噪声分布，这些噪声在当前方法中常被低估或忽略。
• 构建一个统一的生成模型，可在单一框架下适应多种退化类型。
• 通过基于变分推断的显式目标损失函数实现端到端训练，提升模型鲁棒性与性能。

提出的方法

• 将图像复原问题建模为生成建模问题，其中观测到的受损图像被建模为通过退化过程从潜在干净图像变换而来。
• 采用像素级非独立同分布的高斯分布来建模复杂的真实世界噪声，相比标准的独立同分布噪声假设更具灵活性。
• 显式建模通用图像退化过程，使网络能够在无需微调的情况下适应多种退化类型。
• 使用两个深度神经网络来参数化后验分布：一个用于潜在干净图像，另一个用于噪声，通过变分推断实现联合推断。
• 采用基于变分推断的训练算法，结合显式目标损失函数，实现所有模型参数的端到端优化。
• 该框架可在单一统一架构下支持多种图像复原任务——去噪、超分辨率与JPEG去块效应处理。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效建模复杂、真实世界中非独立同分布且空间变化的图像噪声？
• RQ2 显式建模退化过程在多种图像复原任务中如何提升模型泛化能力？
• RQ3 基于变分推断的双后验网络方法在图像复原任务中，相较于标准自编码器类方法，性能提升程度如何？
• RQ4 与基于固定退化假设（如双三次下采样）训练的现有深度学习方法相比，该方法是否具备更强的泛化能力？
• RQ5 该方法是否能在不进行任务特定调整的情况下，实现多种图像复原任务的最先进性能？

主要发现

• 所提方法在图像去噪、超分辨率与JPEG去块效应任务中均达到最先进性能，展现出对多样化退化类型的优越泛化能力。
• 通过显式建模复杂、非独立同分布的噪声分布，该方法显著优于假设独立同分布或简化噪声模型的基线方法。
• 采用可学习的通用退化过程使模型能够适应真实世界中的退化，而无需针对特定任务重新训练。
• 采用独立网络分别估计干净图像与噪声后验分布的双流变分推断框架，实现了更准确、更鲁棒的推断。
• 大量实验证明，该方法在退化条件不匹配的情况下，泛化能力优于现有深度学习方法。
• 该模型在所有三项基准任务中均实现一致的性能提升，验证了统一生成建模范式的有效性。