[论文解读] Video Probabilistic Diffusion Models in Projected Latent Space

Sihyun Yu, Kihyuk Sohn+2 more|arXiv (Cornell University)|Feb 15, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文提出投影潜在视频扩散模型（Projected Latent Video Diffusion Model, PVDM），一种潜在扩散框架，通过3D→2D投影将3D视频数据分解为类似2D图像的潜在向量，从而实现高分辨率、长时长视频的高效训练与采样。PVDM在128帧UCF-101视频生成任务上达到SOTA的FVD分数639.7，显著优于先前方法，同时将内存和计算成本降低至原来的1/17.6。

ABSTRACT

Despite the remarkable progress in deep generative models, synthesizing high-resolution and temporally coherent videos still remains a challenge due to their high-dimensionality and complex temporal dynamics along with large spatial variations. Recent works on diffusion models have shown their potential to solve this challenge, yet they suffer from severe computation- and memory-inefficiency that limit the scalability. To handle this issue, we propose a novel generative model for videos, coined projected latent video diffusion models (PVDM), a probabilistic diffusion model which learns a video distribution in a low-dimensional latent space and thus can be efficiently trained with high-resolution videos under limited resources. Specifically, PVDM is composed of two components: (a) an autoencoder that projects a given video as 2D-shaped latent vectors that factorize the complex cubic structure of video pixels and (b) a diffusion model architecture specialized for our new factorized latent space and the training/sampling procedure to synthesize videos of arbitrary length with a single model. Experiments on popular video generation datasets demonstrate the superiority of PVDM compared with previous video synthesis methods; e.g., PVDM obtains the FVD score of 639.7 on the UCF-101 long video (128 frames) generation benchmark, which improves 1773.4 of the prior state-of-the-art.

研究动机与目标

• 解决在像素空间中训练和采样视频扩散模型时计算和内存成本过高的问题。
• 在计算资源有限的条件下，实现高分辨率、长时长视频的高效可扩展生成。
• 设计一种能有效分解时空视频结构的潜在空间，以提升建模效率和质量。
• 开发一种专用于视频2D图像式潜在表示的扩散模型架构，避免使用昂贵的3D卷积。
• 在长视频生成基准上实现优异性能，同时保持低内存占用和推理成本。

提出的方法

• 该方法使用视频自编码器，通过沿空间、时间及时空方向的3D→2D投影，将3D视频张量映射为三个2D潜在向量。
• 一个潜在向量编码公共内容（如背景），其余两个编码运动动态，从而实现因子分解的、类似图像的潜在表示。
• 在该2D潜在空间上训练2D卷积扩散模型，利用高效的2D架构替代3D卷积。
• 框架采用无条件与帧条件建模的联合训练，使单一模型可生成任意长度的视频。
• 训练与采样流程经过优化，实现低内存占用，从而在有限硬件条件下支持更大批量和更长视频生成。
• 使用标准指标（包括FVD、IS、PSNR和R-FVD）在UCF-101和SkyTimelapse数据集上对模型进行评估。

实验结果

研究问题

• RQ1 2D图像式潜在空间能否有效参数化高维视频数据，同时保留时空结构？
• RQ2 在该潜在空间中训练的基于2D卷积的扩散模型，能否在视频生成质量与效率上超越基于3D卷积的模型？
• RQ3 所提出的3D→2D投影策略是否能实现更高效的长视频生成训练与推理？
• RQ4 该模型能否生成256×256分辨率、任意长度且具备强时间连贯性与感知质量的视频？
• RQ5 与先前的视频扩散模型相比，该方法在内存和计算成本上降低了多少？

主要发现

• PVDM在128帧UCF-101基准上达到SOTA的Fréchet Video Distance（FVD）分数639.7，优于先前SOTA的1773.4。
• 在16帧、256×256分辨率的UCF-101视频生成任务中，PVDM取得74.40的Inception Score（IS），创下新SOTA。
• 与先前的视频扩散模型（VDM）相比，PVDM将推理时间减少17.6倍，16帧256×256视频生成仅需7.88秒，而VDM耗时超过2分钟。
• PVDM实现3.5倍更高的内存效率，可在单张24GB的NVIDIA 3090Ti GPU上以7的批量大小进行训练，而VDM在批量大小为1时即因显存溢出（OOM）而失败。
• 自编码器实现高重建质量，UCF-101测试集上的R-FVD为32.26，PSNR达26.99，表明其具有出色的感知保真度。
• PVDM在推理速度与内存效率上均优于自回归模型（如TATS和VideoGPT），16帧生成仅需4.33GB内存。