[论文解读] SAM-DiffSR: Structure-Modulated Diffusion Model for Image Super-Resolution

Chengcheng Wang, Zhiwei Hao+5 more|arXiv (Cornell University)|Feb 27, 2024

Photoacoustic and Ultrasonic Imaging被引用 4

一句话总结

该论文提出SAM-DiffSR，一种用于图像超分的结构调制扩散模型，通过利用Segment Anything Model（SAM）生成的细粒度分割掩码，在前向扩散过程中引导噪声调制。通过将结构位置信息编码到SAM掩码中，并独立调节各区域的噪声均值，该方法在不增加推理成本的前提下提升了纹理和结构保真度，在DIV2K数据集上相比先前的基于扩散的方法实现了0.74 dB的PSNR增益。

ABSTRACT

Diffusion-based super-resolution (SR) models have recently garnered significant attention due to their potent restoration capabilities. But conventional diffusion models perform noise sampling from a single distribution, constraining their ability to handle real-world scenes and complex textures across semantic regions. With the success of segment anything model (SAM), generating sufficiently fine-grained region masks can enhance the detail recovery of diffusion-based SR model. However, directly integrating SAM into SR models will result in much higher computational cost. In this paper, we propose the SAM-DiffSR model, which can utilize the fine-grained structure information from SAM in the process of sampling noise to improve the image quality without additional computational cost during inference. In the process of training, we encode structural position information into the segmentation mask from SAM. Then the encoded mask is integrated into the forward diffusion process by modulating it to the sampled noise. This adjustment allows us to independently adapt the noise mean within each corresponding segmentation area. The diffusion model is trained to estimate this modulated noise. Crucially, our proposed framework does NOT change the reverse diffusion process and does NOT require SAM at inference. Experimental results demonstrate the effectiveness of our proposed method, showcasing superior performance in suppressing artifacts, and surpassing existing diffusion-based methods by 0.74 dB at the maximum in terms of PSNR on DIV2K dataset. The code and dataset are available at https://github.com/lose4578/SAM-DiffSR.

研究动机与目标

• 解决传统扩散模型在处理语义区域间复杂纹理和结构时因均匀采样噪声而导致的局限性。
• 将来自Segment Anything Model（SAM）的细粒度结构信息整合到基于扩散的超分方法中，以提升重建质量。
• 开发一种利用SAM分割能力的方法，且在推理阶段不引入额外计算开销。
• 在前向扩散过程中实现区域特定的噪声调制，以增强局部结构与纹理的恢复能力。
• 在训练期间注入结构知识的同时，保持与现有反向扩散过程的兼容性。

提出的方法

• 使用Segment Anything Model（SAM）为训练集中每张高分辨率图像预生成高质量的分割掩码。
• 引入结构位置编码（SPE）模块，利用旋转位置编码（RoPE）将2D位置信息嵌入SAM掩码中。
• 在前向扩散过程中，通过应用SPE编码后的掩码，独立调节各分割区域的噪声均值以实现噪声调制。
• 训练U-Net去噪模型以预测调制后的噪声，从而有效学习结构感知的细节恢复。
• 在整个训练周期中复用预生成的SAM掩码，最大限度降低额外训练成本。
• 确保最终模型在推理阶段无需调用SAM，从而保持推理效率。

实验结果

研究问题

• RQ1 如何有效将SAM提供的细粒度结构信息整合到扩散过程中，以提升图像超分性能？
• RQ2 分割掩码的质量对基于扩散的超分模型性能有何影响？
• RQ3 在前向扩散过程中进行结构感知的噪声调制，是否能在不增加推理成本的前提下提升纹理与结构保真度？
• RQ4 位置编码方法的选择如何影响模型定位结构细节的能力？
• RQ5 所提出的方法在PSNR、SSIM和伪影抑制方面是否优于现有的基于扩散的超分方法？

主要发现

• SAM-DiffSR在DIV2K数据集上相比现有基于扩散的方法实现了0.74 dB的PSNR增益，展现出最先进性能。
• 定量的伪影图评分和定性视觉对比均证实，该模型显著减少了伪影。
• 原始SAM生成的高质量分割掩码带来更优结果，Urban100数据集上PSNR从25.33（低质量）提升至25.54（高质量）。
• 使用RoPE进行结构位置编码相比余弦或线性位置编码表现更优，在Urban100上实现0.23 dB的PSNR增益。
• 定量结果表明，所有数据集的SSIM和FID均持续提升，证实了感知质量与多样性均得到增强。
• 该方法在不修改反向扩散过程且推理阶段无需SAM的前提下实现性能提升，保持了零额外推理开销。