[论文解读] Photorealistic Video Generation with Diffusion Models

Agrim Gupta, Lijun Yu+7 more|arXiv (Cornell University)|Dec 11, 2023

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

该论文提出 W.A.L.T.，一种基于 Transformer 的潜在扩散模型，用于生成逼真的视频。该模型采用因果编码器统一图像与视频潜在表示，并利用窗口化注意力机制实现高效的时空建模。在无需分类器自由引导的情况下，W.A.L.T. 在 UCF-101 数据集上实现了最先进的 FVD 分数，展示了在 512×896 分辨率和 8 fps 下文本到视频生成任务中卓越的质量与效率。

ABSTRACT

We present W.A.L.T, a transformer-based approach for photorealistic video generation via diffusion modeling. Our approach has two key design decisions. First, we use a causal encoder to jointly compress images and videos within a unified latent space, enabling training and generation across modalities. Second, for memory and training efficiency, we use a window attention architecture tailored for joint spatial and spatiotemporal generative modeling. Taken together these design decisions enable us to achieve state-of-the-art performance on established video (UCF-101 and Kinetics-600) and image (ImageNet) generation benchmarks without using classifier free guidance. Finally, we also train a cascade of three models for the task of text-to-video generation consisting of a base latent video diffusion model, and two video super-resolution diffusion models to generate videos of $512 imes 896$ resolution at $8$ frames per second.

研究动机与目标

• 开发一种可扩展、高效且高质量的视频生成框架，利用 Transformer 架构，克服基于 U-Net 的扩散模型在视频生成中的局限性。
• 通过因果编码器在共享潜在空间中统一图像与视频建模，实现在大规模图像与视频数据集上的联合训练。
• 通过引入窗口化注意力机制，将自注意力限制在局部空间和时空窗口内，降低视频扩散模型的计算成本。
• 在不依赖分类器自由引导的前提下，实现在图像与视频生成任务中的最先进性能。
• 通过三阶段级联扩散模型，实现 512×896 分辨率和 8 fps 下高分辨率、时序一致的文本到视频生成。

提出的方法

• 因果编码器将图像与视频压缩为统一的、低维潜在空间，支持在图像与视频数据集上进行联合训练。
• Transformer 主干网络采用交替的窗口受限空间与时空自注意力层，以降低内存与计算成本。
• 空间注意力层独立处理图像与视频帧，而时空注意力层则通过非重叠的局部窗口建模视频中的时序依赖关系。
• 身份注意力掩码允许图像输入在时空注意力层中保持不变，从而保留模态特异性处理能力。
• 通过空间交叉注意力实现文本条件控制，支持使用自然语言提示进行文本到视频生成。
• 训练一个三阶段级联模型：首先训练基础潜在视频扩散模型，随后通过两个视频超分辨率扩散模型逐步提升至 512×896 分辨率。

Figure 2 : W.A.L.T. We encode images and videos into a shared latent space. The transformer backbone processes these latents with blocks having two layers of window-restricted attention: spatial layers capture spatial relations in both images and video, while spatiotemporal layers model temporal dyn

实验结果

研究问题

• RQ1 基于 Transformer 的架构是否能在保持计算效率的同时实现视频生成的最先进性能？
• RQ2 在图像与视频数据集上进行联合训练是否能提升潜在视频扩散模型的生成质量？
• RQ3 窗口化注意力机制是否能有效替代全连接注意力或 U-Net 主干网络，同时不损失生成质量？
• RQ4 模型扩展与图像-视频联合预训练如何影响文本到视频生成的性能？
• RQ5 级联扩散框架是否能够从文本提示中生成高分辨率、逼真且时序一致的视频？

主要发现

• W.A.L.T. 在 UCF-101 零样本文本到视频基准测试中，使用一个在图像与视频数据上联合训练的 3B 参数模型，实现了 258.1 的最先进 FVD 分数。
• 在 UCF-101 上，该模型的 Inception 分数达到 35.1，优于所有先前方法，仅 PYoCo 略高，但后者使用了更强的文本编码器。
• 在图像与视频数据集上进行联合训练，使 FVD 相较于仅训练视频的基线模型提升了 20.5%，证明了多模态预训练的优势。
• 将模型参数从 419M 扩展至 3B 后，FVD 分数提升了 116.7 分，表明该框架具有强大的可扩展性。
• 该模型能够以 8 fps 生成 512×896 分辨率的视频，具有高度的时间一致性与逼真质量，经由定性样本验证。
• 该方法在 UCF-101 和 Kinetics-600 的类别条件视频生成任务，以及 ImageNet 的类别条件图像生成任务中，均实现了 SOTA 结果，且未使用分类器自由引导。

Figure 3 : Qualitative evaluation. Example videos generated by W.A.L.T from natural language prompts at $512\times 896$ resolution over $3.6$ seconds duration at $8$ frames per second. The W.A.L.T model is able to generate temporally consistent photorealistic videos that align with the textual promp