[论文解读] Unfolding the Alternating Optimization for Blind Super Resolution

Zhengxiong Luo, Yan Huang+3 more|arXiv (Cornell University)|Oct 6, 2020

Advanced Image Processing Techniques参考文献 38被引用 146

一句话总结

提出一个端到端的深度交替网络（DAN），通过将交替优化展开为可训练网络，在盲超分辨率中联合估计模糊核并恢复高分辨率图像。它在速度更快、视觉效果更好方面优于最新方法。

ABSTRACT

Previous methods decompose blind super resolution (SR) problem into two sequential steps: extit{i}) estimating blur kernel from given low-resolution (LR) image and extit{ii}) restoring SR image based on estimated kernel. This two-step solution involves two independently trained models, which may not be well compatible with each other. Small estimation error of the first step could cause severe performance drop of the second one. While on the other hand, the first step can only utilize limited information from LR image, which makes it difficult to predict highly accurate blur kernel. Towards these issues, instead of considering these two steps separately, we adopt an alternating optimization algorithm, which can estimate blur kernel and restore SR image in a single model. Specifically, we design two convolutional neural modules, namely extit{Restorer} and extit{Estimator}. extit{Restorer} restores SR image based on predicted kernel, and extit{Estimator} estimates blur kernel with the help of restored SR image. We alternate these two modules repeatedly and unfold this process to form an end-to-end trainable network. In this way, extit{Estimator} utilizes information from both LR and SR images, which makes the estimation of blur kernel easier. More importantly, extit{Restorer} is trained with the kernel estimated by extit{Estimator}, instead of ground-truth kernel, thus extit{Restorer} could be more tolerant to the estimation error of extit{Estimator}. Extensive experiments on synthetic datasets and real-world images show that our model can largely outperform state-of-the-art methods and produce more visually favorable results at much higher speed. The source code is available at https://github.com/greatlog/DAN.git.

研究动机与目标

• 激励在模糊核未知且单步核估计和SR难以匹配的情况下进行盲超分辨率。
• 提出一个统一的端到端网络，在核估计和图像重建之间交替进行。
• 通过使用估计的核来训练重建模块，确保对核估计误差的鲁棒性。
• 相比两步盲SR流水线，提升训练和推理速度。
• 在多种数据集上的合成和真实图像上展示出更优越的性能。

提出的方法

• 引入两个卷积模块 Estimator 和 Restorer，用于实现核估计与 SR 的交替优化。
• 将迭代展开为固定深度的深度网络（DAN），可端到端训练。
• 使用条件残差块（CRB）将基本输入与条件输入（SR 图像和核）耦合，确保输出与其条件输入对齐。
• Estimator 同时使用低分辨率（LR）和超分辨率（SR）图像来预测经 PCA 降维的模糊核；Restorer 使用 LR 图像和估计的核来恢复 SR 图像。
• 用 Estimator 的输出核（而非真值核）来训练 Restorer，从而提高对估计误差的容忍度。
• 在两种降级设置（高斯模糊和不规则核）下进行评估，展示鲁棒性和速度优势。

实验结果

研究问题

• RQ1 基于交替优化的端到端网络能否超越传统的两步盲SR流水线？
• RQ2 在两者共同训练时，共享与迭代 Estimator 和 Restorer 是否能提高核估计和 SR 质量？
• RQ3 DAN 在合成与真实图像上的 PSNR/SSIM 与推理速度表现如何？
• RQ4 该网络对核估计误差和推理时的迭代次数变化是否具有鲁棒性？

主要发现

• DAN 在合成数据集的多尺度多数据集上显著优于最先进的盲 SR 方法。
• DAN 的推理速度显著更快（在 RTX2080Ti 上每张图像 0.75s），优于 KernelGAN+ZSSR，并在若干基准上在 PSNR/SSIM 上优于 IKC。
• 联合训练 Estimator 与 Restorer，采用交替优化，得到更好的核估计（简化核空间的 L1 误差更低）并改进 SR 结果，尤其在核方差增大时更明显。
• 测试时允许更多迭代可进一步提高或稳定性能，表明模块之间的协作超越单点极限的学习。
• 真实世界有噪声图像的实验表明，DAN 在去噪和细节恢复方面比基线方法更可靠。