[论文解读] SciRE-Solver: Accelerating Diffusion Models Sampling by Score-integrand Solver with Recursive Difference

Shigui Li, Wei Chen+1 more|arXiv (Cornell University)|Aug 15, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用 3

一句话总结

该论文提出 SciRE-Solver，一种无需训练的扩散模型采样方法，通过使用递归差分（RD）技术高效估计高阶泰勒展开中的得分函数导数，从而加速推理。该方法在 CIFAR-10 上实现了 SOTA 的 FID 分数——100 NFE 时为 2.40，84 NFE 时为 3.15，优于使用超过 1,000 NFE 训练的模型结果。

ABSTRACT

Diffusion models (DMs) have made significant progress in the fields of image, audio, and video generation. One downside of DMs is their slow iterative process. Recent algorithms for fast sampling are designed from the perspective of differential equations. However, in higher-order algorithms based on Taylor expansion, estimating the derivative of the score function becomes intractable due to the complexity of large-scale, well-trained neural networks. Driven by this motivation, in this work, we introduce the recursive difference (RD) method to calculate the derivative of the score function in the realm of DMs. Based on the RD method and the truncated Taylor expansion of score-integrand, we propose SciRE-Solver with the convergence order guarantee for accelerating sampling of DMs. To further investigate the effectiveness of the RD method, we also propose a variant named SciREI-Solver based on the RD method and exponential integrator. Our proposed sampling algorithms with RD method attain state-of-the-art (SOTA) FIDs in comparison to existing training-free sampling algorithms, across both discrete-time and continuous-time pre-trained DMs, under various number of score function evaluations (NFE). Remarkably, SciRE-Solver using a small NFEs demonstrates promising potential to surpass the FID achieved by some pre-trained models in their original papers using no fewer than $1000$ NFEs. For example, we reach SOTA value of $2.40$ FID with $100$ NFE for continuous-time DM and of $3.15$ FID with $84$ NFE for discrete-time DM on CIFAR-10, as well as of $2.17$ (2.02) FID with $18$ (50) NFE for discrete-time DM on CelebA 64$ imes$64.

研究动机与目标

• 解决扩散模型采样速度慢的问题，其通常需要数百次迭代步骤。
• 克服在大规模神经网络中估计高阶得分函数导数的不可行性，以支持高阶数值求解器。
• 开发一种数学上严谨、无需训练的方法，以加速采样同时保持或提升生成样本质量。
• 实现在远少于现有方法的得分函数评估次数（NFE）下生成高保真图像。
• 在离散时间与连续时间扩散模型中均验证递归差分方法的有效性。

提出的方法

• 引入递归差分（RD）方法，通过从得分函数的泰勒展开中递归提取低阶导数信息，以计算得分函数的高阶导数。
• 利用 RD 估计的导数对得分被积函数进行截断泰勒展开，构建高阶数值积分器。
• 提出 SciRE-Solver 作为基于 RD 方法进行导数近似的高阶、收敛性有保障的扩散 ODE 求解器。
• 通过将 RD 方法与指数积分器结合，设计其变体 SciREI-Solver，以提升稳定性和精度。
• 设计基于 SNR 或 NSR 类型轨迹的自适应时间步长调度策略，以增强采样效率。
• 实现该方法无需额外训练，可直接应用于预训练的扩散模型。

实验结果

研究问题

• RQ1 递归差分方法能否为扩散模型中得分函数的高阶导数提供一种高效且准确的估计方式？
• RQ2 与现有无需训练的求解器相比，所提出的 SciRE-Solver 是否实现了更高阶的收敛性并提升了采样效率？
• RQ3 基于 RD 的方法能否在远少于基线方法的得分函数评估次数下实现 SOTA 的 FID 分数？
• RQ4 当仅使用原始预训练模型部分 NFE 时，SciRE-Solver 的性能与原始模型相比如何？
• RQ5 SciREI-Solver 中 RD 与指数积分器的结合是否进一步提升了采样质量与稳定性？

主要发现

• SciRE-Solver 在仅使用 100 次得分函数评估（NFE）的情况下，在 CIFAR-10 上实现了 SOTA 的 FID 分数 2.40，优于使用超过 1,000 NFE 训练的模型。
• 在 CIFAR-10 的离散时间扩散模型中，SciRE-Solver 以 84 NFE 达到 FID 3.15，创下无需训练方法的新 SOTA 纪录。
• 在 CelebA 64×64 数据集上，SciRE-Solver 仅用 18 NFE 即实现 FID 2.17，50 NFE 时达到 2.02，展现出极低 NFE 下的优异生成质量。
• 在 ImageNet 和 LSUN 等多个数据集的视觉对比中，该方法生成高质量样本所用步数少于 DDIM 和 DPM-Solver。
• 对于连续时间模型，SciRE-Solver 在 12 NFE 时实现 CIFAR-10 的 FID 3.48，20 NFE 时达到 FID 2.42，性能与或优于先前 SOTA 方法。
• 结果证实，RD 方法可在无需额外训练的情况下实现精确的导数估计，使其在实现快速、高质量采样方面极为高效。