[论文解读] SDDM: Score-Decomposed Diffusion Models on Manifolds for Unpaired Image-to-Image Translation

Shikun Sun, Longhui Wei+3 more|arXiv (Cornell University)|Aug 4, 2023

Mycobacterium research and diagnosis被引用 4

一句话总结

SDDM 在流形上提出了一种基于得分分解的扩散模型，用于无配对图像到图像翻译，通过基于流形的优化将得分函数分解为去噪和内容优化两个部分。通过利用块自适应实例归一化（BAdaIN）和多目标优化，SDDM 在显著更少的扩散步骤下实现了最先进的性能，优于以往基于SBDM的方法。

ABSTRACT

Recent score-based diffusion models (SBDMs) show promising results in unpaired image-to-image translation (I2I). However, existing methods, either energy-based or statistically-based, provide no explicit form of the interfered intermediate generative distributions. This work presents a new score-decomposed diffusion model (SDDM) on manifolds to explicitly optimize the tangled distributions during image generation. SDDM derives manifolds to make the distributions of adjacent time steps separable and decompose the score function or energy guidance into an image ``denoising" part and a content ``refinement" part. To refine the image in the same noise level, we equalize the refinement parts of the score function and energy guidance, which permits multi-objective optimization on the manifold. We also leverage the block adaptive instance normalization module to construct manifolds with lower dimensions but still concentrated with the perturbed reference image. SDDM outperforms existing SBDM-based methods with much fewer diffusion steps on several I2I benchmarks.

研究动机与目标

• 为解决现有基于得分的扩散模型（SBDM）在无配对图像到图像翻译中对中间生成分布缺乏显式控制的问题。
• 在图像生成过程中显式分离得分函数的去噪与内容优化两个部分。
• 通过在流形上均衡得分与能量引导的优化部分，实现多目标优化。
• 利用块自适应实例归一化（BAdaIN）模块构建低维、集中的流形，以提升优化效率。
• 与现有基于SBDM的方法相比，通过更少的扩散步骤实现更高的生成质量与更快的收敛速度。

提出的方法

• SDDM 引入了一种基于流形的优化框架，其中切空间将得分函数分解为去噪部分与内容优化部分。
• 该方法将得分函数与能量引导均分解为可并行优化的组件，支持多目标学习。
• 使用块自适应实例归一化（BAdaIN）构建低维流形，使其集中于扰动后的参考图像，替代传统的低通滤波器。
• 模型强制使得分与能量引导的优化部分处于同等地位，从而实现梯度的均衡组合。
• 采用迭代优化策略，在关键中间时间步 $T_0$ 增加迭代次数，以提升保真度，同时避免过度计算。
• 通过在块数量与 $T_0$ 选择上的消融实验验证了框架，结果表明在 FID 与 SSIM 之间实现了更优的权衡。

Figure 1: The overview of our SDDM. At each time step, compared with directly adding energy guidance to the score function, we firstly use the moments of the distribution $\mathbf{y}_{t}$ as constraints to get the manifolds $\mathcal{M}_{t}$ at each time step $t$ . Then, we restrict potential energy

实验结果

研究问题

• RQ1 在无配对图像到图像翻译中，是否可以显式优化基于得分的扩散模型中的中间分布？
• RQ2 如何将得分函数分解为可区分的去噪与内容优化组件以实现更好控制？
• RQ3 基于流形的优化能否分离相邻时间步的分布，以减少引导组件之间的干扰？
• RQ4 在构建条件生成的流形时，使用 BAdaIN 相较于传统低通滤波器有何影响？
• RQ5 对得分与能量引导进行多目标优化，如何在更少的扩散步骤下提升生成质量？

主要发现

• 在 FF-Horse 数据集上，SDDM 实现了 62.29 的最佳 FID 与 0.422 的 SSIM，优于现有基于 SBDM 的方法，且扩散步骤更少。
• 策略 3（在 $T_0$ 增加迭代次数）在 FID 与 SSIM 之间实现了最佳平衡，表明针对性优化可在极低代价下提升性能。
• 使用 $16\times16$ 块在保真度与细节之间达到最佳权衡：$8\times8$ 块导致 FID 更低但 SSIM 更差，而 $32\times32$ 块则降低性能。
• 通过 BAdaIN 构建的流形与扰动后的参考图像等效集中，支持有效的分解与优化。
• 通过均衡优化部分，该方法减少了引导组件之间的干扰，实现了更稳定、更可控的生成。
• SDDM 在两个 I2I 基准测试中表现优异，证实了得分分解与基于流形的多目标优化的有效性。

Figure 2: The mean and standard deviation of $L_{2}$ norms of $\mathbf{s}_{r}$ in $T_{\mathbf{x}_{t}}\mathcal{M}$ and other part in $N_{\mathbf{x}_{t}}\mathcal{M}$ . We repeat 100 times of our SDDM with different reference images.