[论文解读] OneRestore: A Universal Restoration Framework for Composite Degradation

Yu Guo, Yuan Gao+4 more|arXiv (Cornell University)|Jul 5, 2024

Conservation Techniques and StudiesArts and Humanities被引用 3

一句话总结

OneRestore 提出了一种通用的、基于 Transformer 的图像复原框架，通过场景描述实现对复合退化（如低光照、雾霾、雨雪）的自适应、可控复原。通过引入交叉注意力机制和结合负样本的复合退化复原损失，该方法在合成数据集和真实世界数据集上均实现了最先进性能，在复杂、多因素退化场景中显著优于现有方法。

ABSTRACT

In real-world scenarios, image impairments often manifest as composite degradations, presenting a complex interplay of elements such as low light, haze, rain, and snow. Despite this reality, existing restoration methods typically target isolated degradation types, thereby falling short in environments where multiple degrading factors coexist. To bridge this gap, our study proposes a versatile imaging model that consolidates four physical corruption paradigms to accurately represent complex, composite degradation scenarios. In this context, we propose OneRestore, a novel transformer-based framework designed for adaptive, controllable scene restoration. The proposed framework leverages a unique cross-attention mechanism, merging degraded scene descriptors with image features, allowing for nuanced restoration. Our model allows versatile input scene descriptors, ranging from manual text embeddings to automatic extractions based on visual attributes. Our methodology is further enhanced through a composite degradation restoration loss, using extra degraded images as negative samples to fortify model constraints. Comparative results on synthetic and real-world datasets demonstrate OneRestore as a superior solution, significantly advancing the state-of-the-art in addressing complex, composite degradations.

研究动机与目标

• 解决现有图像复原方法仅关注单一退化类型而非涉及多种损伤的复合真实世界场景的缺陷。
• 开发一种统一框架，能够在不重新训练或手动重新配置模型的前提下，自适应、可控地处理多种退化类型。
• 通过引入基于文本或视觉的场景描述以及一种新型的复合退化复原损失（含负样本），提升模型鲁棒性与用户控制能力。
• 通过新构建的数据集 CDD-11 模拟真实世界的复合退化场景，为通用复原模型的有效训练与评估提供支持。

提出的方法

• 该框架采用基于 Transformer 的架构，引入一种新型交叉注意力模块，将退化后的场景描述与图像特征融合，以引导复原过程。
• 场景描述可通过手动文本嵌入或自动视觉属性提取生成，实现灵活且可控的输入方式。
• 提出一种复合退化复原损失，利用额外的退化图像作为负样本，对模型输出施加严格的下界约束。
• 模型在 CDD-11 数据集上进行训练，该数据集为新构建的基准数据集，通过组合低光照、雾霾、降雨和降雪的物理退化模型，模拟真实世界的复合退化。
• 该架构支持 One-to-Composite 复原策略，可在无需专用子模型的情况下动态适应混合退化类型。
• 通过将注意力机制基于退化特定的描述进行条件控制，实现对复原过程的精确控制，提升与用户意图的一致性。

Figure 1 : Our OneRestore allows fully controllable image restoration using scene descriptors derived from both automatic visual attribute extraction (top) and manual text embeddings (bottom).

实验结果

研究问题

• RQ1 如何使单一图像复原模型有效处理同时包含低光照、雾霾、降雨和降雪等多种退化因素的复合退化？
• RQ2 无论是手动提供还是自动提取的场景描述，是否能够实现对多种退化类型的可控且自适应的复原？
• RQ3 在复合退化复原损失中引入负样本，如何提升模型的泛化能力与输出保真度？
• RQ4 在合成复合退化数据集（CDD-11）上进行训练，其泛化能力在真实世界复杂退化场景中能达到何种程度？

主要发现

• OneRestore 在四个真实世界基准数据集上实现了最先进性能：NPE（低光照）、RESIDE RTTS（去雾霾）、Yang 的数据集（去雨）、Snow100k-R（去雪），以 NIQE 和 PIQE 指标衡量。
• 该模型在合成与真实世界数据集上均显著优于现有最先进方法，展现出对复杂复合退化场景的强大泛化能力。
• 使用场景描述可实现对复原过程的精确控制，使模型能根据输入描述优先处理特定退化类型，视觉对比结果已验证此能力。
• 结合负样本的复合退化复原损失有效约束了模型，减少了分布偏移，通过建立更紧致的复原保真度下界，提升了输出质量。
• 在真实世界数据集上的视觉结果表明，OneRestore 生成的输出质量高、细节丰富，即使在严重复合退化下也与干净参考图像高度接近。
• 失败案例揭示了模型在处理高密度退化以及未建模的退化类型（如雨滴或摩尔纹）方面存在局限，提示未来仍有改进空间。

Figure 2 : Structural comparison between One-to-One, One-to-Many, and our One-to-Composite image restoration methods.