[论文解读] Scaling Autoregressive Video Models

Dirk Weissenborn, Oscar Täckström+1 more|arXiv (Cornell University)|Jun 6, 2019

Human Pose and Action Recognition参考文献 41被引用 14

一句话总结

该论文提出了一种可扩展的自回归视频生成模型，采用3D块局部自注意力机制与时空子采样技术，将视频建模为3D体积，实现了基准测试上的最先进结果，并能生成高保真、逼真的视频延续，包括在复杂Kinetics烹饪视频上，尽管在多样性与长程依赖性方面仍存在挑战。

ABSTRACT

Due to the statistical complexity of video, the high degree of inherent stochasticity, and the sheer amount of data, generating natural video remains a challenging task. State-of-the-art video generation models often attempt to address these issues by combining sometimes complex, usually video-specific neural network architectures, latent variable models, adversarial training and a range of other methods. Despite their often high complexity, these approaches still fall short of generating high quality video continuations outside of narrow domains and often struggle with fidelity. In contrast, we show that conceptually simple autoregressive video generation models based on a three-dimensional self-attention mechanism achieve competitive results across multiple metrics on popular benchmark datasets, for which they produce continuations of high fidelity and realism. We also present results from training our models on Kinetics, a large scale action recognition dataset comprised of YouTube videos exhibiting phenomena such as camera movement, complex object interactions and diverse human movement. While modeling these phenomena consistently remains elusive, we hope that our results, which include occasional realistic continuations encourage further research on comparatively complex, large scale datasets such as Kinetics.

研究动机与目标

• 解决在多样化且复杂的视频分布中生成高保真、逼真视频延续的挑战。
• 通过利用高效的3D自注意力机制，克服先前自回归视频生成模型在生成速度与稳定性方面的局限性。
• 证明概念上简单的自回归模型无需复杂架构或对抗性训练，也能在视频生成基准上实现具有竞争力的性能。
• 探索在大规模、多样化数据集（如Kinetics-600）上训练自回归视频模型的可行性，该数据集包含相机运动与物体交互等复杂现象。
• 为未来基于高效、TPU优化架构的高复杂度视频生成研究建立可扩展的基线。

提出的方法

• 提出3D块局部自注意力机制的通用化形式，以高效建模视频作为3D体积的时空依赖关系，支持在TPU上高效训练。
• 应用时空子采样技术，受Menick & Kalchbrenner (2019) 启发，通过在子采样的空间与时间块上生成视频，降低内存与计算成本。
• 采用单一、统一的基于Transformer的架构，不区分空间与时间维度，仅依赖多头3D自注意力机制。
• 使用128个TPU v3核心对下采样后的Kinetics-600视频及BAIR Robot Pushing与Moving MNIST等基准数据集进行100万步训练。
• 采用基于温度的采样策略，温度设为0.9，以在生成样本的多样性与质量之间取得平衡。
• 使用标准指标（包括bits/dim（困惑度）与Fréchet Video Distance（FVD））进行评估，并对复杂视频现象进行定性分析。

实验结果

研究问题

• RQ1 基于3D自注意力机制的简单自回归视频模型，是否能在无需复杂架构或对抗性训练的情况下，在视频生成基准上实现具有竞争力的性能？
• RQ2 时空子采样与块局部注意力在多大程度上能降低内存与计算成本，同时保持长程时空建模能力？
• RQ3 此类模型是否能在大规模、多样化数据集（如Kinetics-600）上生成高保真、逼真的视频延续，特别是在相机运动与物体交互等复杂现象上？
• RQ4 在具有挑战性的数据集上，该模型在困惑度与FVD指标上与先前自回归视频模型相比表现如何？
• RQ5 当将自回归视频模型扩展到高度随机、多样化的视频分布（如Kinetics中的视频）时，会暴露出哪些失败模式与局限性？

主要发现

• 大规模时空子采样模型在BAIR Robot Pushing数据集上达到1.19 bits/dim的困惑度与170的FVD得分，优于先前的自回归模型。
• 单帧模型在同一基准上达到1.14 bits/dim的困惑度，表明其具备强大的建模能力，但样本中存在不稳定与颜色爆炸问题。
• 在Kinetics-600烹饪子集上，模型能生成合理延续，包含逼真的相机运动、物体交互以及火焰与水蒸气等动态现象。
• 定性分析表明，该模型能够处理复杂视频现象，如变焦、视角变化、场景切换以及细微的人体动作，但手指与面部动作仍具挑战。
• 尽管在基准测试中表现优异，该模型在Kinetics数据上偶尔会产生失真或泛白的生成结果，凸显出需更大模型或更大数据集以充分捕捉视频复杂性。
• 结果表明，可扩展的高效自回归视频模型可在多样化的真实世界视频数据上生成高保真视频延续，为未来研究设立了新的基线。