[论文解读] Wavelet Score-Based Generative Modeling

Florentin Guth, Simon Coste+2 more|arXiv (Cornell University)|Aug 9, 2022

Neural Networks and Applications被引用 10

一句话总结

本文提出小波分数生成建模（WSGM），通过在不同尺度上将数据分布分解为归一化小波系数的条件概率，加速了分数生成模型。通过在所有尺度上采用相同的时序离散化方案，WSGM 实现了与图像尺寸呈线性关系的时间复杂度，显著降低了采样成本，同时在自然图像和相变点处的物理过程中保持了高质量的生成效果。

ABSTRACT

Score-based generative models (SGMs) synthesize new data samples from Gaussian white noise by running a time-reversed Stochastic Differential Equation (SDE) whose drift coefficient depends on some probabilistic score. The discretization of such SDEs typically requires a large number of time steps and hence a high computational cost. This is because of ill-conditioning properties of the score that we analyze mathematically. We show that SGMs can be considerably accelerated, by factorizing the data distribution into a product of conditional probabilities of wavelet coefficients across scales. The resulting Wavelet Score-based Generative Model (WSGM) synthesizes wavelet coefficients with the same number of time steps at all scales, and its time complexity therefore grows linearly with the image size. This is proved mathematically over Gaussian distributions, and shown numerically over physical processes at phase transition and natural image datasets.

研究动机与目标

• 为解决分数生成模型（SGMs）计算成本过高的问题，后者由于病态分数函数需数千个时间步长。
• 通过利用自然图像和物理过程中的多尺度结构，提升采样效率。
• 开发一种方法，实现在所有尺度上独立于图像尺寸的均匀时间离散化。
• 从数学上证明并以数值方式验证，基于小波的分解可降低采样复杂度，同时保持生成质量。

提出的方法

• 将数据分布分解为跨尺度的归一化小波系数条件概率的乘积。
• 对每个尺度的小波系数独立应用分数生成建模，条件于粗尺度系数。
• 在所有尺度上使用统一的时间离散化方案（如 Euler-Maruyama），每像素固定步数。
• 对小波系数进行归一化，以确保各尺度上分数估计的一致性和训练的稳定性。
• 利用正交小波变换将图像分解为具有长程和短程相关结构的多尺度分量。
• 使用时间依赖的噪声方案进行去噪分数匹配，训练条件与无条件分数网络。

实验结果

研究问题

• RQ1 基于小波的多尺度分解是否能在不损失样本质量的前提下减少分数生成所需的时间步数？
• RQ2 在所有尺度上应用统一离散化方案是否能实现与图像尺寸呈线性关系的时间复杂度？
• RQ3 小波系数的归一化如何影响分数函数的条件数与采样效率？
• RQ4 WSGM 在统计物理中相变点处的复杂分布上，能否实现显著的生成加速？
• RQ5 WSGM 是否能在远少于标准 SGM 的采样步数下，实现最先进的 FID 分数？

主要发现

• WSGM 实现了与图像尺寸呈线性关系的时间复杂度，因为每像素的采样步数在不同分辨率下保持恒定。
• 与标准 SGM 相比，该方法的采样成本降低了与图像尺寸成比例的因子，后者在分辨率增加时性能急剧下降。
• 在 CelebA-HQ 数据集上，WSGM 达到了与基线模型相当的 FID 分数，但采样步数显著减少。
• 在 φ⁴ 模型相变点处，WSGM 展现出更快的收敛速度和更高的采样效率，归因于各尺度上更良态的分数函数。
• 数学分析证明，小波归一化可稳定分数函数的海森矩阵，从而实现各尺度上的均匀离散化。
• 数值结果证实，WSGM 在大幅降低计算成本的同时，仍能保持高保真度的生成效果，尤其在大尺寸图像上优势显著。