[论文解读] Score-based Generative Modeling in Latent Space

Arash Vahdat, Karsten Kreis+1 more|arXiv (Cornell University)|Jun 10, 2021

Generative Adversarial Networks and Image Synthesis参考文献 97被引用 12

一句话总结

该论文提出潜在得分生成建模（LSGM），一种在变分自编码器（VAE）潜在空间中训练得分生成模型的方法，以提升生成样本质量、降低采样复杂度，并实现对非连续数据的应用。通过在低维、更平滑的潜在空间中学习得分函数，LSGM在CIFAR-10上实现了SOTA的FID 2.10，在CelebA-HQ-256上相比先前的SGM实现100倍的采样速度提升。

ABSTRACT

Score-based generative models (SGMs) have recently demonstrated impressive results in terms of both sample quality and distribution coverage. However, they are usually applied directly in data space and often require thousands of network evaluations for sampling. Here, we propose the Latent Score-based Generative Model (LSGM), a novel approach that trains SGMs in a latent space, relying on the variational autoencoder framework. Moving from data to latent space allows us to train more expressive generative models, apply SGMs to non-continuous data, and learn smoother SGMs in a smaller space, resulting in fewer network evaluations and faster sampling. To enable training LSGMs end-to-end in a scalable and stable manner, we (i) introduce a new score-matching objective suitable to the LSGM setting, (ii) propose a novel parameterization of the score function that allows SGM to focus on the mismatch of the target distribution with respect to a simple Normal one, and (iii) analytically derive multiple techniques for variance reduction of the training objective. LSGM obtains a state-of-the-art FID score of 2.10 on CIFAR-10, outperforming all existing generative results on this dataset. On CelebA-HQ-256, LSGM is on a par with previous SGMs in sample quality while outperforming them in sampling time by two orders of magnitude. In modeling binary images, LSGM achieves state-of-the-art likelihood on the binarized OMNIGLOT dataset. Our project page and code can be found at https://nvlabs.github.io/LSGM .

研究动机与目标

• 解决得分生成模型（SGM）的高计算成本问题，后者因需要对复杂ODE/SDE进行积分，导致采样时需数千次网络评估。
• 克服SGM仅限于连续数据的局限性，使其能够应用于非连续和离散数据分布。
• 通过利用VAE框架学习更结构化、更平滑的潜在空间，提升模型表达能力与训练稳定性。
• 通过新颖的得分匹配目标与方差减少技术，实现VAE与SGM先验的端到端联合训练。
• 通过仅聚焦于建模聚合后验与标准正态先验之间的差异，实现更快的采样速度与更优的样本质量。

提出的方法

• 训练一个使用标准正态先验的VAE，将数据映射到低维潜在空间，使聚合后验尽可能接近先验。
• 提出一种新型去噪得分匹配目标，实现VAE与潜在SGM先验的端到端联合优化。
• 提出一种新颖的得分函数参数化方式，将其表示为标准正态分布与可学习SGM的混合形式，使模型能专注于建模残差分布差异。
• 对训练目标应用解析方差减少技术，提升训练稳定性与收敛性。
• 使用概率流ODE或祖先采样在潜在空间中生成样本，再通过VAE解码器映射回数据空间。
• 通过在连续潜在空间中训练SGM，绕过对离散分布的直接建模，实现对离散数据（如二值化OMNIGLOT）的有效应用。

实验结果

研究问题

• RQ1 在VAE学习的潜在空间中训练得分生成模型，是否能降低采样复杂度，同时保持或提升样本质量？
• RQ2 仅建模聚合后验与标准正态先验之间的分布差异，对模型表达能力与训练效率有何影响？
• RQ3 LSGM是否能在CIFAR-10与CelebA-HQ-256等基准数据集上实现FID与采样速度的SOTA表现？
• RQ4 所提出方法是否能有效实现对非连续数据（如二值图像）的生成建模？
• RQ5 ODE求解器容差与祖先采样选择如何影响潜在空间中的样本质量与重建保真度？

主要发现

• LSGM在CIFAR-10上实现了SOTA的FID得分2.10，优于该基准上所有先前的生成模型。
• 在CelebA-HQ-256上，LSGM将采样时间降低了两个数量级（从约39秒降至约0.3秒），同时保持了相当的样本质量。
• 模型在二值化OMNIGLOT数据集上实现了SOTA的对数似然，证明了通过潜在空间SGM有效建模离散数据的能力。
• 使用较高ODE求解器容差（10^-2）会导致低频伪影，而较低容差（10^-5）能改善细节，表明对数值精度敏感。
• 从先验进行祖先采样生成的样本视觉质量高于概率流ODE采样，尽管FID得分略差，表明保真度与多样性之间存在权衡。
• 32×32的潜在空间维度相比64×64维度，采样速度更快（2.7秒 vs 39.9秒），FID更优（7.22 vs 8.53），表明更小的潜在空间可在不损失质量的前提下提升效率。