[论文解读] Restoring Images with Unknown Degradation Factors by Recurrent Use of a Multi-branch Network

Xing Liu, Masanori Suganuma+2 more|arXiv (Cornell University)|Jul 10, 2019

Advanced Image Processing Techniques参考文献 72被引用 4

一句话总结

本文提出一种循环多分支网络，通过在共享主干网络上迭代应用不同恢复分支，实现对未知退化因子的图像恢复。该方法在单一退化类型任务上的性能与专用网络相当或更优，在混合退化任务上超越了先前最先进方法，通过两步训练策略结合多任务学习与微调，展现出强大的泛化能力。

ABSTRACT

The employment of convolutional neural networks has achieved unprecedented performance in the task of image restoration for a variety of degradation factors. However, high-performance networks have been specifically designed for a single degradation factor. In this paper, we tackle a harder problem, restoring a clean image from its degraded version with an unknown degradation factor, subject to the condition that it is one of the known factors. Toward this end, we design a network having multiple pairs of input and output branches and use it in a recurrent fashion such that a different branch pair is used at each of the recurrent paths. We reinforce the shared part of the network with improved components so that it can handle different degradation factors. We also propose a two-step training method for the network, which consists of multi-task learning and finetuning. The experimental results show that the proposed network yields at least comparable or sometimes even better performance on four degradation factors as compared with the best dedicated network for each of the four. We also test it on a further harder task where the input image contains multiple degradation factors that are mixed with unknown mixture ratios, showing that it achieves better performance than the previous state-of-the-art method designed for the task.

研究动机与目标

• 解决退化因子未知但属于预定义集合中某一种的情况下的图像恢复问题。
• 克服专用网络因需事先知晓退化类型而带来的局限性。
• 设计一种单一架构，可在多种退化类型间泛化，且性能损失可忽略。
• 实现对混合退化比例未知的图像的有效恢复，这是一种更真实且更具挑战性的场景。
• 开发一种训练策略，在保持多种退化类型性能的同时，最小化参数开销。

提出的方法

• 网络采用多个输入-输出分支对，每个分支针对特定退化类型进行优化，并通过共享主干连接。
• 采用循环机制，通过在后续迭代中将一个分支对的输出反馈至另一个不同的输入分支，实现对同一网络的重复利用。
• 通过引入新型残差块设计 DuRB-M，增强共享主干在多种退化类型下的表征能力。
• 采用两步训练流程：首先在所有退化类型上进行多任务学习，随后在混合退化数据上进行微调以提升鲁棒性。
• 网络预测相对于输入的残差图像，从而在每种退化类型下保持一致的端到端残差学习形式。
• 架构在训练中最小化特定退化类型的损失，同时保留干净图像特征，并避免对非目标因素造成退化。

实验结果

研究问题

• RQ1 当退化类型未知但限定于已知集合中时，单一深度网络能否有效恢复图像？
• RQ2 如何设计共享网络主干，使其在不损失性能的前提下泛化于多种不同的退化类型？
• RQ3 与单次通过或级联方法相比，循环应用多分支网络分支是否能提升恢复性能？
• RQ4 两步训练策略（先多任务学习后微调）是否能增强在混合退化场景下的泛化能力？
• RQ5 所提方法在单一和组合退化任务上与专用网络及先前最先进方法相比表现如何？

主要发现

• 所提出的 R-MBN 模型在四种单一退化类型（模糊、噪声、JPEG、雾霾）上的性能与专用网络相当或更优。
• 在混合退化数据上微调后的 R-MBN* 变体，在组合退化任务上显著优于 Suganuma 等人提出的先前最先进方法。
• 即使未在混合数据上进行微调，R-MBN 在混合退化任务上仍保持强劲性能，仅较其在单一退化因子下的表现有中等程度下降。
• 该方法对未知退化因子混合比例表现出鲁棒性，表明其具备强大的泛化能力。
• 两步训练策略有效平衡了多任务学习与微调，使网络能够处理多样的退化模式，同时保持图像质量。