[论文解读] Neural Blind Deconvolution Using Deep Priors

Dongwei Ren, Kai Zhang+3 more|arXiv (Cornell University)|Aug 6, 2019

Advanced Image Processing Techniques参考文献 55被引用 6

一句话总结

本文提出 SelfDeblur，一种基于神经盲去卷积的方法，采用带有跳跃连接的非对称自编码器来建模干净图像的深层先验，同时使用带有 SoftMax 输出的全连接网络来建模模糊核先验。该方法仅使用模糊输入进行无约束神经优化，实现了在基准数据集和真实世界数据集上的最先进定量与定性结果。

ABSTRACT

Blind deconvolution is a classical yet challenging low-level vision problem with many real-world applications. Traditional maximum a posterior (MAP) based methods rely heavily on fixed and handcrafted priors that certainly are insufficient in characterizing clean images and blur kernels, and usually adopt specially designed alternating minimization to avoid trivial solution. In contrast, existing deep motion deblurring networks learn from massive training images the mapping to clean image or blur kernel, but are limited in handling various complex and large size blur kernels. To connect MAP and deep models, we in this paper present two generative networks for respectively modeling the deep priors of clean image and blur kernel, and propose an unconstrained neural optimization solution to blind deconvolution. In particular, we adopt an asymmetric Autoencoder with skip connections for generating latent clean image, and a fully-connected network (FCN) for generating blur kernel. Moreover, the SoftMax nonlinearity is applied to the output layer of FCN to meet the non-negative and equality constraints. The process of neural optimization can be explained as a kind of "zero-shot" self-supervised learning of the generative networks, and thus our proposed method is dubbed SelfDeblur. Experimental results show that our SelfDeblur can achieve notable quantitative gains as well as more visually plausible deblurring results in comparison to state-of-the-art blind deconvolution methods on benchmark datasets and real-world blurry images. The source code is available at https://github.com/csdwren/SelfDeblur

研究动机与目标

• 解决传统基于 MAP 的盲去卷积方法依赖手工设计先验且易陷入平凡解的局限性。
• 克服基于深度学习的去模糊方法在处理复杂、大尺寸模糊核时的约束。
• 在无需成对训练数据的情况下，端到端地整合深层图像先验与核先验。
• 开发一种零样本、自监督学习方法，仅使用模糊输入联合优化干净图像与模糊核估计。
• 通过专用深度生成网络联合建模图像与核先验，提升盲去卷积的视觉质量与定量性能。

提出的方法

• 使用带有跳跃连接的非对称自编码器作为图像生成网络 $\mathcal{G}_x$，以学习潜在干净图像 $\mathbf{x}$ 的深层先验。
• 使用全连接网络 $\mathcal{G}_k$ 建模模糊核先验，输出层应用 SoftMax 非线性以强制满足非负性与单位和约束。
• 将盲去卷积问题表述为无约束神经优化任务，最小化观测模糊图像与估计模糊图像之间的数据保真度损失。
• 通过反向传播联合优化 $\mathcal{G}_x$ 与 $\mathcal{G}_k$，实现无需监督的端到端训练。
• 在训练过程中，使用估计的核执行可微的模糊操作以重建模糊图像。
• 将 [20] 中的非盲去卷积作为后处理步骤集成，进一步提升结果，记为 SelfDeblurΔ。

实验结果

研究问题

• RQ1 自监督、端到端的深度学习框架是否能有效建模无成对训练数据下的干净图像与模糊核先验？
• RQ2 使用带有 SoftMax 输出的全连接网络是否能比卷积网络更好地捕捉模糊核的结构与约束特性？
• RQ3 所提出的无约束神经优化策略是否能避免平凡解并相比传统交替最小化方法实现更好的收敛性？
• RQ4 该方法是否能泛化到具有复杂、大尺寸模糊核的真实世界模糊图像，而不仅限于合成基准？
• RQ5 图像与核先验的联合优化在多大程度上提升了视觉质量与定量指标，相较于最先进方法？

主要发现

• SelfDeblur 在 Berkeley2000 与 Lai 等人 [18] 基准测试中达到最先进 PSNR 与误差比，显著优于其他竞争方法。
• 在 Lai 等人 [18] 数据集上，SelfDeblur 在所有五个类别（人造物、自然、人物、过曝、文字）的图像内容质量上均优于所有基线方法。
• 视觉与定量分析均证实，SelfDeblur 估计的模糊核比 Xu&Jia [48]、Pan-DCP [29] 及其他方法更准确。
• 视觉对比显示，SelfDeblur 生成的纹理更符合视觉感知，且在真实世界图像中显著减少了振铃伪影。
• SelfDeblurΔ（结合 SelfDeblur 与非盲去卷积）进一步提升性能，在 PSNR 与误差比上全面超越所有其他方法。
• 该方法对不同大小的模糊核与噪声水平均表现出鲁棒性，在多样化的现实世界与合成模糊图像上保持一致的性能。