[论文解读] SinSR: Diffusion-Based Image Super-Resolution in a Single Step

Yufei Wang, Wenhan Yang+8 more|arXiv (Cornell University)|Nov 23, 2023

Advanced Image Processing Techniques被引用 4

一句话总结

SinSR 提出了一种单步扩散模型超分辨率方法，通过从预训练教师模型蒸馏出确定性映射，实现在单次推理中生成高保真图像。通过采用一种新型的一致性保持损失和推导出的确定性采样策略，SinSR 在达到或超越最先进方法性能的同时，实现了高达 \times10 的加速。

ABSTRACT

While super-resolution (SR) methods based on diffusion models exhibit promising results, their practical application is hindered by the substantial number of required inference steps. Recent methods utilize degraded images in the initial state, thereby shortening the Markov chain. Nevertheless, these solutions either rely on a precise formulation of the degradation process or still necessitate a relatively lengthy generation path (e.g., 15 iterations). To enhance inference speed, we propose a simple yet effective method for achieving single-step SR generation, named SinSR. Specifically, we first derive a deterministic sampling process from the most recent state-of-the-art (SOTA) method for accelerating diffusion-based SR. This allows the mapping between the input random noise and the generated high-resolution image to be obtained in a reduced and acceptable number of inference steps during training. We show that this deterministic mapping can be distilled into a student model that performs SR within only one inference step. Additionally, we propose a novel consistency-preserving loss to simultaneously leverage the ground-truth image during the distillation process, ensuring that the performance of the student model is not solely bound by the feature manifold of the teacher model, resulting in further performance improvement. Extensive experiments conducted on synthetic and real-world datasets demonstrate that the proposed method can achieve comparable or even superior performance compared to both previous SOTA methods and the teacher model, in just one sampling step, resulting in a remarkable up to x10 speedup for inference. Our code will be released at https://github.com/wyf0912/SinSR

研究动机与目标

• 为解决扩散模型超分辨率方法推理成本过高的问题，这类方法通常需要15步以上的推理步数才能获得高质量结果。
• 实现在不牺牲感知质量或多样性的情况下，实现单步生成。
• 在保持高保真图像重建能力的同时，降低训练和推理开销。
• 通过在蒸馏过程中直接引入真实图像监督，超越仅依赖教师模型知识蒸馏的局限，提升模型泛化能力。

提出的方法

• 从近期最先进方法 ResShift 中推导出一种确定性采样策略，以加速输入噪声与高分辨率图像之间配对训练数据的生成。
• 训练学生模型，学习输入随机噪声与对应高分辨率输出之间的双向确定性映射。
• 提出一种一致性保持损失，最小化真实图像与从预测初始噪声状态重建图像之间的差异。
• 使用知识蒸馏将教师模型的生成能力迁移至学生模型，从而实现单步推理。
• 从预训练的教师模型初始化学生模型，以降低微调成本并提升收敛速度。
• 在训练过程中使用 ODE 求解生成高质量训练对，同时在单步内实现极快的推理速度。

实验结果

研究问题

• RQ1 扩散模型超分辨率方法是否能在单次推理步数内实现高感知质量，而无需依赖冗长的马尔可夫链？
• RQ2 是否可行将教师扩散模型的确定性映射蒸馏至学生模型，以实现单步图像生成？
• RQ3 在蒸馏过程中引入真实图像是否能提升学生模型的性能，使其超越仅通过知识蒸馏所能达到的水平？
• RQ4 与标准的基于反演的方法（如 DDIM）相比，一致性保持损失是否能带来更高的保真度并减少伪影？
• RQ5 与现有最先进扩散模型超分辨率方法相比，所提出方法在速度和性能上表现如何？

主要发现

• SinSR 仅用一次推理步数，即可实现与教师模型 ResShift [45] 相当或更优的性能，最高实现 \times10 的加速。
• 在 RealSet65 数据集上，SinSR（24.32M 参数）的 CLIPIQA 得分为 0.6499，MUSIQ 得分为 58.71，优于参数量相同的较小 ResShift 模型（24.32M 参数，MUSIQ 得分为 52.71）。
• 一致性保持损失使学生模型在保真度方面优于 DDIM 反演方法，视觉对比显示细节重建更优。
• 尽管使用了更复杂的损失函数，SinSR 的训练时间减少至约 2.57 天（30k 次迭代），而 ResShift 的训练时间约为 7.64 天（500k 次迭代）。
• 学习噪声与高分辨率图像之间确定性映射的学生模型，在模型参数量减少时，其鲁棒性显著优于基于去噪的训练方法，表明其优化更简单。
• 即使采用更简单的蒸馏策略，SinSR 仍优于更复杂的模型如 Rectified Flow，后者在迭代蒸馏过程中因误差累积而性能下降。