[论文解读] Pseudo Numerical Methods for Diffusion Models on Manifolds

Luping Liu, Yi Ren+2 more|arXiv (Cornell University)|Feb 20, 2022

Advanced Neuroimaging Techniques and Applications被引用 125

一句话总结

本文将 DDPMs 重构为在流形上求解微分方程，并引入伪数值方法（PNDMs），这些方法将高阶方法的梯度部分与非线性传输部分结合，以在不牺牲质量的前提下加速采样。

ABSTRACT

Denoising Diffusion Probabilistic Models (DDPMs) can generate high-quality samples such as image and audio samples. However, DDPMs require hundreds to thousands of iterations to produce final samples. Several prior works have successfully accelerated DDPMs through adjusting the variance schedule (e.g., Improved Denoising Diffusion Probabilistic Models) or the denoising equation (e.g., Denoising Diffusion Implicit Models (DDIMs)). However, these acceleration methods cannot maintain the quality of samples and even introduce new noise at a high speedup rate, which limit their practicability. To accelerate the inference process while keeping the sample quality, we provide a fresh perspective that DDPMs should be treated as solving differential equations on manifolds. Under such a perspective, we propose pseudo numerical methods for diffusion models (PNDMs). Specifically, we figure out how to solve differential equations on manifolds and show that DDIMs are simple cases of pseudo numerical methods. We change several classical numerical methods to corresponding pseudo numerical methods and find that the pseudo linear multi-step method is the best in most situations. According to our experiments, by directly using pre-trained models on Cifar10, CelebA and LSUN, PNDMs can generate higher quality synthetic images with only 50 steps compared with 1000-step DDIMs (20x speedup), significantly outperform DDIMs with 250 steps (by around 0.4 in FID) and have good generalization on different variance schedules. Our implementation is available at https://github.com/luping-liu/PNDM.

研究动机与目标

• 通过将扩散视为在流形约束下的微分方程，激励 DDPMs 提高采样速度且不损失质量。
• 开发使用非线性传输部分以保持在高密度数据流形上的伪数值方法。
• 证明 DDIMs 是伪数值方法的特殊情况，并识别表现最好的变体。
• 展示 PNDMs 在标准数据集上实现大幅加速（如 20 倍），同时保持或提升采样质量。

提出的方法

• 推导在流形约束下 DDPM 反向过程所支配的常微分方程。
• 将经典数值方法分成梯度（epsilon_theta）和传输部分；引入非线性传输部分以形成 PN 方法。
• 将 DDIMs 等同于一个简单的 PN 方法，并提出伪线性多步法（PLMS）和伪 Runge-Kutta 变体（PRK）。
• 将线性多步法作为主要梯度部分，并配备定制的传输部分以保持在数据流形上。
• 证明收敛性：S/P-NDMs 具有三阶局部误差且收敛为二阶。
• 给出 DDIMs、S-PNDMs 和 F-PNDMs 的算法描述；通过 Runge-Kutta 讨论前 3 步，然后再切换到 PLMS。

实验结果

研究问题

• RQ1 是否可以通过在数据流形上求解反向过程来使用伪数值方法加速扩散模型的采样？
• RQ2 在减少步数的情况下，伪数值方法（PNDMs）是否在采样质量上优于传统数值求解器和 DDIMs？
• RQ3 梯度和传输分量如何相互作用以维持与流形对齐的采样与收敛性保证？

主要发现

• PNDMs 使 CIFAR-10 和 CelebA 上的采样速度比 1000 步 DDIM 快多达 20 倍，且不损失质量。
• PNDMs 在减少步数的情况下，在 CelebA 上实现了新的最先进 FID 2.71。
• S-PNDMs 和 F-PNDMs 在 CIFAR-10 和 CelebA 的较低步数下显著改善 FID，并在方差时间表上具有泛化性。
• DDIMs 是 PN 方法的一个特例，为其性能提供了新的解释。
• 理论分析表明 S/F-PNDMs 具有三阶局部误差和二阶收敛。