[论文解读] Synthesizing Realistic Image Restoration Training Pairs: A Diffusion Approach

Tao Yang, Peiran Ren+2 more|arXiv (Cornell University)|Mar 13, 2023

Advanced Image Processing Techniques被引用 6

一句话总结

本文提出了一种基于扩散模型的新方法，通过利用预训练的去噪扩散概率模型（DDPM）来优化手工设计的退化输出，从而合成逼真的高质量（HQ）与低质量（LQ）图像恢复训练对。该方法显著缩小了合成数据与真实世界LQ图像之间的分布差距，使盲图像恢复与超分辨率任务达到最先进性能。

ABSTRACT

In supervised image restoration tasks, one key issue is how to obtain the aligned high-quality (HQ) and low-quality (LQ) training image pairs. Unfortunately, such HQ-LQ training pairs are hard to capture in practice, and hard to synthesize due to the complex unknown degradation in the wild. While several sophisticated degradation models have been manually designed to synthesize LQ images from their HQ counterparts, the distribution gap between the synthesized and real-world LQ images remains large. We propose a new approach to synthesizing realistic image restoration training pairs using the emerging denoising diffusion probabilistic model (DDPM). First, we train a DDPM, which could convert a noisy input into the desired LQ image, with a large amount of collected LQ images, which define the target data distribution. Then, for a given HQ image, we synthesize an initial LQ image by using an off-the-shelf degradation model, and iteratively add proper Gaussian noises to it. Finally, we denoise the noisy LQ image using the pre-trained DDPM to obtain the final LQ image, which falls into the target distribution of real-world LQ images. Thanks to the strong capability of DDPM in distribution approximation, the synthesized HQ-LQ image pairs can be used to train robust models for real-world image restoration tasks, such as blind face image restoration and blind image super-resolution. Experiments demonstrated the superiority of our proposed approach to existing degradation models. Code and data will be released.

研究动机与目标

• 解决获取用于监督图像恢复训练的逼真、对齐的HQ-LQ图像对的挑战。
• 缩小合成LQ图像与真实世界退化图像之间的分布差距，该差距限制了模型的泛化能力。
• 克服手工设计退化模型无法捕捉复杂真实世界退化特性的局限。
• 通过生成高保真度的合成训练数据，实现盲图像恢复模型的稳健训练。
• 展示扩散模型在图像恢复数据合成中分布建模方面的有效性。

提出的方法

• 在大规模真实世界LQ图像集合上训练去噪扩散概率模型（DDPM），以学习其潜在数据分布。
• 对每张HQ图像，应用标准的手工设计退化模型（如模糊、噪声、下采样）生成初始LQ图像。
• 通过迭代添加高斯噪声，使初始LQ图像的输入偏离真实LQ分布。
• 利用预训练的DDPM对噪声LQ图像进行去噪，生成与真实世界LQ分布高度一致的最终LQ图像。
• 将原始HQ图像与优化后的LQ图像结合，形成逼真的HQ-LQ训练对。
• 在合成的图像对上训练下游图像恢复模型（如基于RRDB的模型），以提升其在真实世界数据上的表现。

Figure 1 : Illustration of the proposed HQ-LQ image pair synthesis process. Please refer to Sec. 3.1 for details.

实验结果

研究问题

• RQ1 扩散模型能否有效从大规模数据集中学习并重建真实世界低质量图像的分布？
• RQ2 通过DDPM对手工退化图像进行优化，在多大程度上缩小了合成与真实世界LQ图像之间的分布差距？
• RQ3 与现有退化模型相比，该基于扩散模型方法生成的HQ-LQ图像对在下游图像恢复任务中的质量如何？
• RQ4 在合成数据对上训练的模型是否能更好地泛化到真实世界图像恢复基准任务（如盲人脸恢复与盲图像超分辨率）？
• RQ5 该方法对盲图像恢复与超分辨率任务中感知与定量指标的影响如何？

主要发现

• 微调后的基于RRDB的模型（RRDB+）在FID、PSNR和SSIM指标上优于Real-ESRGAN，同时保持相似的LPIPS分数，表明其恢复质量显著提升。
• 用户研究表明，在盲人脸恢复任务中，RRDB+显著优于基线模型，70%的投票选择支持在合成数据上训练的模型。
• 在盲图像超分辨率任务中，RRDB+获得最多的一票（排名第一）和最少的五票（排名第五）的偏好票数，表明其感知质量更优。
• 视觉对比显示，RRDB+相比BASRGAN和Real-ESRGAN等竞争方法，能生成更清晰的细节、更好的结构保持性，并减少伪影。
• 该方法有效缩小了合成与真实世界LQ图像之间的分布差距，表现为在真实世界测试集上的性能提升及用户评估结果的改善。
• 该方法具有良好的泛化能力：用户可基于特定领域的LQ数据集训练自定义DDPM，以生成适用于特定图像恢复任务的定制化训练对。

Figure 2 : Sample face and natural scene images in our collected degraded image dataset (DID).