[论文解读] Towards Effective Multiple-in-One Image Restoration: A Sequential and Prompt Learning Strategy

Xiangtao Kong, Chao Dong+1 more|arXiv (Cornell University)|Jan 7, 2024

Photoacoustic and Ultrasonic Imaging被引用 4

一句话总结

本文提出了一种用于多合一图像复原（MiO IR）的顺序性与提示学习策略，使单一模型能够有效处理七种不同的图像复原任务。通过按顺序在任务上进行训练，并使用显式或自适应提示进行任务适应，该方法在CNN与Transformer主干网络上均实现了最先进性能，在分布外数据集上PSNR最高提升2.09 dB。

ABSTRACT

While single task image restoration (IR) has achieved significant successes, it remains a challenging issue to train a single model which can tackle multiple IR tasks. In this work, we investigate in-depth the multiple-in-one (MiO) IR problem, which comprises seven popular IR tasks. We point out that MiO IR faces two pivotal challenges: the optimization of diverse objectives and the adaptation to multiple tasks. To tackle these challenges, we present two simple yet effective strategies. The first strategy, referred to as sequential learning, attempts to address how to optimize the diverse objectives, which guides the network to incrementally learn individual IR tasks in a sequential manner rather than mixing them together. The second strategy, i.e., prompt learning, attempts to address how to adapt to the different IR tasks, which assists the network to understand the specific task and improves the generalization ability. By evaluating on 19 test sets, we demonstrate that the sequential and prompt learning strategies can significantly enhance the MiO performance of commonly used CNN and Transformer backbones. Our experiments also reveal that the two strategies can supplement each other to learn better degradation representations and enhance the model robustness. It is expected that our proposed MiO IR formulation and strategies could facilitate the research on how to train IR models with higher generalization capabilities.

研究动机与目标

• 解决训练单一模型以同时处理多种多样化图像复原任务的挑战。
• 克服在混合退化类型上训练时的优化不稳定性和任务干扰问题。
• 提升模型在分布内与分布外测试集上的泛化能力与鲁棒性。
• 开发一个统一框架，利用干净、无伪影的真实图像实现高质量监督。
• 探究稳定训练与有效任务特定适应的互补策略。

提出的方法

• 提出顺序学习：按精心设计的顺序一次训练一个图像复原任务，而非在训练过程中混合所有任务。
• 引入提示学习以适应不同任务：使用显式提示（如任务嵌入）或从输入图像中提取的自适应视觉提示。
• 通过可学习嵌入将特定任务的条件信号注入网络，实现显式提示学习。
• 通过从输入图像本身动态生成任务感知特征，实现自适应提示学习。
• 结合顺序学习与提示学习策略，以提升退化表征学习能力与模型鲁棒性。
• 使用经过筛选的数据集中的高质量、无伪影的真实图像，避免低质量监督信号。

实验结果

研究问题

• RQ1 如何在同时优化多个冲突的图像复原目标时稳定训练？
• RQ2 何种训练策略能够在不降低性能的前提下，实现对多样化图像复原任务的更好泛化？
• RQ3 提示学习是否能有效引导单一模型在无需微调的情况下适应不同复原任务？
• RQ4 顺序学习与提示学习策略在提升模型性能与鲁棒性方面如何相互补充？
• RQ5 在分布内与分布外测试集上，使用这些策略训练的统一模型在多大程度上能超越专用模型？

主要发现

• 顺序学习提升了优化稳定性，在SRResNet上平均PSNR提升0.29 dB，在SwinIR上提升0.85 dB，覆盖全部七项任务。
• 顺序学习与显式提示学习相结合，在SwinIR的分布外测试集上实现+2.09 dB的PSNR提升。
• 自适应提示学习提升了泛化能力，尤其在未见退化类型上表现显著，SRResNet在Unknown测试集上实现+1.06 dB的增益。
• 采用高质量真实图像数据的所提MiO IR公式有效避免了低质量监督信号带来的性能下降。
• 顺序学习与提示学习策略增强了退化表征学习，提升了在复杂与真实场景测试集上的鲁棒性。
• 该方法在多种主干网络（SRResNet、SwinIR、Restormer、Uformer）上均实现了最先进性能，展现出广泛的适用性。