[论文解读] Seer: Language Instructed Video Prediction with Latent Diffusion Models

Xianfan Gu, Chuan Wen+3 more|arXiv (Cornell University)|Mar 27, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

Seer 提出了一种视频预测模型，通过沿时间轴膨胀微调后的文本到图像扩散模型，生成高保真度、指令对齐的视频帧。通过引入时空注意力机制和帧序列文本分解器，Seer 在仅使用 480 GPU 小时的情况下，实现了 SOTA 性能，在 SSv2 数据集上的 FVD 降低 31%，人类偏好度达 83.7%，显著低于以往方法的计算成本。

ABSTRACT

Imagining the future trajectory is the key for robots to make sound planning and successfully reach their goals. Therefore, text-conditioned video prediction (TVP) is an essential task to facilitate general robot policy learning. To tackle this task and empower robots with the ability to foresee the future, we propose a sample and computation-efficient model, named extbf{Seer}, by inflating the pretrained text-to-image (T2I) stable diffusion models along the temporal axis. We enhance the U-Net and language conditioning model by incorporating computation-efficient spatial-temporal attention. Furthermore, we introduce a novel Frame Sequential Text Decomposer module that dissects a sentence's global instruction into temporally aligned sub-instructions, ensuring precise integration into each frame of generation. Our framework allows us to effectively leverage the extensive prior knowledge embedded in pretrained T2I models across the frames. With the adaptable-designed architecture, Seer makes it possible to generate high-fidelity, coherent, and instruction-aligned video frames by fine-tuning a few layers on a small amount of data. The experimental results on Something Something V2 (SSv2), Bridgedata and EpicKitchens-100 datasets demonstrate our superior video prediction performance with around 480-GPU hours versus CogVideo with over 12,480-GPU hours: achieving the 31% FVD improvement compared to the current SOTA model on SSv2 and 83.7% average preference in the human evaluation.

研究动机与目标

• 解决基于初始帧和自然语言指令生成时序一致、高保真度视频帧的挑战。
• 通过利用预训练的文本到图像扩散模型，降低文本到视频生成中典型的高计算与高数据需求。
• 通过将全局指令分解为时序结构化的子指令，提升语言指令与逐帧运动之间的细粒度对齐。
• 通过微调预训练模型而非从零开始训练，实现在小规模数据集上的高效微调。
• 在保持高视觉保真度和指令一致性的同时，实现强大的视频预测性能。

提出的方法

• 将预训练的 2D 文本到图像扩散模型膨胀为 3D U-Net 架构，以同时建模空间和时间依赖性。
• 引入缩放自回归窗口时间注意力机制，高效建模潜在空间中的长程时间动态。
• 设计帧序列文本分解器，将全局文本指令分解为时序对齐的子指令，用于逐帧条件控制。
• 仅在小规模文本-视频数据集上微调模型的少数层，以保留预训练先验的同时适应视频生成任务。
• 采用潜在扩散模型并结合噪声预测头，在潜在空间中逐步生成视频帧，确保输出的高保真度。
• 应用帧插值与重复策略，在不增加额外推理成本的前提下，将生成长度扩展至原始 12 帧上下文之外。

实验结果

研究问题

• RQ1 能否在极小量微调下，有效将预训练的文本到图像扩散模型适配为文本条件的视频预测模型？
• RQ2 如何将全局语言指令分解为时序对齐的子指令，以提升逐帧运动的对齐精度？
• RQ3 3D U-Net 架构中的空间-时间注意力机制在多大程度上能保持生成视频帧的时间一致性和视觉质量？
• RQ4 该模型是否能在显著降低计算成本的前提下，实现视频预测的 SOTA 性能？
• RQ5 该模型在具有不同场景复杂度和运动动态的多样化数据集上，泛化能力如何？

主要发现

• 在 Something-Something V2 数据集上，Seer 相较于之前的 SOTA 模型，FVD（Fréchet Video Distance）降低了 31%，FVD 值从 20.5 降至 14.2。
• 在人类评估中，Seer 在 83.7% 的对比中优于其他 SOTA 模型，表明其具有出色的感知质量与指令对齐能力。
• 模型训练仅需 480 GPU 小时，相比 CogVideo 的 12,480 GPU 小时，计算成本降低了 96%，展现出卓越的数据与计算效率。
• 帧序列文本分解器能够实现与任务级指令精确对齐的运动生成，例如‘倾斜啤酒罐’或‘丢下一张卡’。
• Seer 在多种数据集（包括 SSv2、BridgeData 和 Epic-Kitchens-100）上均表现出良好泛化能力，对不同类型的运动和环境具有鲁棒性。
• 尽管性能优异，Seer 有时仍会破坏外观一致性（如物体颜色或背景），并可能生成参考帧中未出现的新相机姿态或视角。