[论文解读] Non-Uniform Diffusion Models

Georgios Batzolis, Jan Stanczuk+2 more|arXiv (Cornell University)|Jul 20, 2022

Advanced Neuroimaging Techniques and Applications被引用 4

一句话总结

本文提出非均匀扩散模型，其中图像的不同区域通过不同的随机微分方程（SDE）以不同速度扩散，从而实现多尺度生成建模。与均匀扩散相比，该方法在128×128分辨率下实现了4.4倍的采样速度提升，同时FID得分更优，还引入了一种新型条件得分估计器（CMDE），在条件图像生成任务中表现优于现有方法。

ABSTRACT

Diffusion models have emerged as one of the most promising frameworks for deep generative modeling. In this work, we explore the potential of non-uniform diffusion models. We show that non-uniform diffusion leads to multi-scale diffusion models which have similar structure to this of multi-scale normalizing flows. We experimentally find that in the same or less training time, the multi-scale diffusion model achieves better FID score than the standard uniform diffusion model. More importantly, it generates samples $4.4$ times faster in $128 imes 128$ resolution. The speed-up is expected to be higher in higher resolutions where more scales are used. Moreover, we show that non-uniform diffusion leads to a novel estimator for the conditional score function which achieves on par performance with the state-of-the-art conditional denoising estimator. Our theoretical and experimental findings are accompanied by an open source library MSDiff which can facilitate further research of non-uniform diffusion models.

研究动机与目标

• 为解决标准扩散模型在高分辨率图像生成中推理时间过长的问题。
• 探索非均匀扩散的潜力——即图像不同区域以不同速率扩散——以提升效率与性能。
• 开发一种新型条件得分估计器CMDE，统一并改进现有的条件去噪与扩散估计方法。
• 为条件去噪估计器（CDE）提供理论基础，该估计器此前虽被广泛使用但缺乏正式证明。
• 在超分辨率、图像修复和边缘到图像转换任务中，对条件得分估计方法进行实证评估与比较。

提出的方法

• 本文提出一种非均匀扩散框架，其中图像的不同空间区域由具有不同扩散速度的SDE分别控制，从而形成多尺度扩散动力学。
• 提出条件多速扩散估计器（CMDE），一种用于条件得分函数的新估计器，可在条件去噪与条件扩散估计之间插值。
• 该方法使用可学习的扩散速度函数σ^y(t)，根据条件观测y自适应调整区域特定的扩散速率。
• 为条件去噪估计器（CDE）提供了理论一致性证明，验证了其在实际应用中的合理性。
• 在开源库MSDiff中实现该框架，以支持可复现性与进一步研究。
• 在三个条件图像生成任务（超分辨率、图像修复和边缘到图像转换）上进行评估，采用FID、LPIPS和多样性指标。

实验结果

研究问题

• RQ1 非均匀扩散（即图像不同区域以不同速度扩散）是否能实现更快、更准确的生成建模？
• RQ2 所提出的CMDE估计器在样本质量与训练稳定性方面，相较于现有条件得分估计器（CDE与CDiffE）表现如何？
• RQ3 非均匀扩散是否能改善条件图像生成中的优化景观与后验近似？
• RQ4 条件去噪估计器（CDE）是否具有理论一致性？能否进行正式证明？
• RQ5 多尺度扩散框架是否能在减少训练时间的同时，实现优于标准均匀扩散模型的FID得分，并显著提升采样速度？

主要发现

• 多尺度扩散模型在128×128分辨率下相比标准均匀扩散模型实现4.4倍采样加速，且样本质量无损失。
• 在更短的训练时间内，多尺度模型达到的FID得分优于均匀基线，表明训练效率更高。
• 在图像修复与超分辨率任务中，CMDE估计器的FID得分优于CDE与CDiffE，表明其后验近似能力更强。
• 在边缘到图像转换任务中，CDiffE无法生成一致样本，而CMDE与CDE表现显著更优，其中CMDE取得最佳FID得分。
• 本文为条件去噪估计器（CDE）提供了正式的一致性证明，为其广泛应用提供了理论依据。
• 开源库MSDiff已发布，以支持非均匀与条件扩散模型的进一步研究。