[论文解读] SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution

Rongyuan Wu, Tao Yang+4 more|arXiv (Cornell University)|Nov 27, 2023

Advanced Image Processing Techniques被引用 5

一句话总结

SeeSR 提出了一种语义感知的真实世界图像超分方法，通过微调的提示提取器生成退化感知的软提示和硬提示，增强预训练的文本到图像扩散模型。通过将这些提示与低分辨率图像结合，并将低分辨率特征注入初始噪声，SeeSR 生成了更清晰、语义更准确的结果，同时减少了伪影，其在感知质量和语义保真度方面优于现有的基于扩散的方法。

ABSTRACT

Owe to the powerful generative priors, the pre-trained text-to-image (T2I) diffusion models have become increasingly popular in solving the real-world image super-resolution problem. However, as a consequence of the heavy quality degradation of input low-resolution (LR) images, the destruction of local structures can lead to ambiguous image semantics. As a result, the content of reproduced high-resolution image may have semantic errors, deteriorating the super-resolution performance. To address this issue, we present a semantics-aware approach to better preserve the semantic fidelity of generative real-world image super-resolution. First, we train a degradation-aware prompt extractor, which can generate accurate soft and hard semantic prompts even under strong degradation. The hard semantic prompts refer to the image tags, aiming to enhance the local perception ability of the T2I model, while the soft semantic prompts compensate for the hard ones to provide additional representation information. These semantic prompts encourage the T2I model to generate detailed and semantically accurate results. Furthermore, during the inference process, we integrate the LR images into the initial sampling noise to mitigate the diffusion model's tendency to generate excessive random details. The experiments show that our method can reproduce more realistic image details and hold better the semantics. The source code of our method can be found at https://github.com/cswry/SeeSR.

研究动机与目标

• 解决由严重退化和模糊局部结构引起的真实世界图像超分中的语义不准确问题。
• 通过利用预训练文本到图像扩散模型中的语义先验，提升生成高分辨率图像的保真度和真实感。
• 克服现有方法仅依赖低分辨率图像或通用语义提示的局限性，这些方法在强退化条件下表现不佳。
• 开发一种对复杂真实世界图像退化具有鲁棒性并能保持语义内容的提示提取机制。

提出的方法

• 微调退化感知提示提取器（DAPE），从低分辨率图像中生成硬语义提示（图像标签）和软语义提示（表征嵌入）。
• 硬提示通过提供对象级别的语义指导增强局部感知，而软提示则提供补充的表征信息以改善特征理解。
• 将低分辨率特征整合到扩散采样过程的初始噪声中，以减少平滑区域的伪影生成。
• 采用两阶段框架：首先，在退化数据上使用数据增强训练 DAPE，以学习退化不变的语义；其次，在推理阶段同时使用两种提示类型。
• 该方法采用控制信号机制，结合低分辨率图像和语义提示，引导文本到图像扩散模型生成更具感知真实感和语义正确性的输出。
• 提出一种新颖的 LRE（LR-embedded）策略，通过在扩散过程起始阶段注入低分辨率潜在表征，实现训练与推理分布的一致性对齐。

Figure 1 : The comparison of different styles of prompts and their corresponding Real-ISR results with PASD [ 59 ] . (a) Input LR image. (b)-(d) show the extracted classification-style, caption-style and tag-style prompts from LR image and the corresponding Real-ISR results. (e) Null prompt and its

实验结果

研究问题

• RQ1 如何从严重退化的低分辨率图像中有效提取语义提示，以在超分过程中保留图像语义？
• RQ2 硬提示（标签）和软提示（嵌入特征）在提升生成高分辨率图像的语义准确性和视觉质量方面分别发挥什么作用？
• RQ3 与通用或现成的语义提取方法相比，退化感知提示提取在真实世界超分中的表现如何？
• RQ4 将低分辨率潜在表征注入扩散过程的初始噪声中，是否能缓解伪影生成并提升重建保真度？
• RQ5 软提示与硬提示在实现高感知质量和语义正确性方面，各自的相对贡献是什么？

主要发现

• SeeSR 在感知质量方面优于现有基于扩散的方法（如 StableSR、PASD 和 DiffBIR），LPIPS 和 CLIPIQA 分数更低，表明视觉真实感更强且失真更少。
• 消融研究显示，仅使用硬提示会导致语义错误（如错误的对象标签），而仅使用软提示则导致图像模糊或语义受损。
• 通过 DAPE 结合硬提示与软提示可实现最佳平衡，生成更锐利的边缘和语义忠实的细节，案例研究已视觉验证。
• 将 DAPE 替换为 RAM 导致所有感知指标下降且出现语义不一致，证明退化感知提示设计的必要性。
• LRE 策略通过对齐扩散模型的训练与推理分布，有效减少了平滑区域的伪影。
• SeeSR 在真实世界图像超分任务中达到最先进性能，单张 V100 GPU 上推理时间为 7.24 秒，兼顾了速度与质量。

Figure 2 : Overview of SeeSR. (a) In the first stage, we train a degradation-aware prompt extractor (DAPE), which is initialized from a tag model. DAPE is trained to align the encoding of the degraded LR image to the encoding of the corresponding HR image by a tag model ( e.g . , RAM [ 71 ] in our w