[论文解读] Open-Sora: Democratizing Efficient Video Production for All

Z. Zheng, Xiangyu Peng+7 more|arXiv (Cornell University)|Dec 29, 2024

Urban Planning and Valuation被引用 10

一句话总结

Open-Sora 是一个开源的扩散式视频生成模型，支持文本生成图像、文本生成视频，以及图像生成视频任务，在 720p 的最多 16 秒内，通过 Spatial-Temporal Diffusion Transformer 和紧凑的 3D 自编码器实现。

ABSTRACT

Vision and language are the two foundational senses for humans, and they build up our cognitive ability and intelligence. While significant breakthroughs have been made in AI language ability, artificial visual intelligence, especially the ability to generate and simulate the world we see, is far lagging behind. To facilitate the development and accessibility of artificial visual intelligence, we created Open-Sora, an open-source video generation model designed to produce high-fidelity video content. Open-Sora supports a wide spectrum of visual generation tasks, including text-to-image generation, text-to-video generation, and image-to-video generation. The model leverages advanced deep learning architectures and training/inference techniques to enable flexible video synthesis, which could generate video content of up to 15 seconds, up to 720p resolution, and arbitrary aspect ratios. Specifically, we introduce Spatial-Temporal Diffusion Transformer (STDiT), an efficient diffusion framework for videos that decouples spatial and temporal attention. We also introduce a highly compressive 3D autoencoder to make representations compact and further accelerate training with an ad hoc training strategy. Through this initiative, we aim to foster innovation, creativity, and inclusivity within the community of AI content creation. By embracing the open-source principle, Open-Sora democratizes full access to all the training/inference/data preparation codes as well as model weights. All resources are publicly available at: https://github.com/hpcaitech/Open-Sora.

研究动机与目标

• 通过提供训练代码、数据处理管线和模型权重，推进高质量视频生成的民主化访问。
• 复现并扩展受 Sora 启发的技术，以实现可控的视频合成。
• 开发高效架构（STDiT）和压缩策略以降低训练/推理成本。
• 支持多分辨率和多宽高比的视频生成，以最大化下游任务的灵活性。

提出的方法

• 引入 Spatial-Temporal Diffusion Transformer（STDiT），实现空间和时间注意力的解耦。
• 使用 3D 自编码器对视频数据进行压缩（4x 时域压缩），并从 2D VAE 初始化以保持时间保真度。
• 从预训练的图像生成模型（PixArt-α）初始化，并添加时间注意力，投影为零初始化。
• 对时间注意力应用 RoPE，并对 QK 进行标准化以在半精度训练中提高稳定性。
• 应用基于掩码的条件化策略用于图像/视频条件化，并将条件分数（美学、运动、相机运动）附加到字幕中。
• 采用基于桶的多分辨率训练方案，以有效处理不同分辨率和纵横比。
• 在逐步提升的数据集和分辨率上采用多阶段训练课程，以在成本和性能之间取得平衡。

实验结果

研究问题

• RQ1 Open-Sora 是否能够复现并扩展开源的扩散式视频生成技术，以在 720p、16 秒内生成高质量视频？
• RQ2 哪些架构和训练策略最能在开源视频扩散模型中平衡质量、速度和资源使用？
• RQ3 conditioning 信号（美学、运动、相机运动）如何提升文本到视频生成的可控性？
• RQ4 有哪些有效的数据预处理和多分辨率策略，能够在不同分辨率和纵横比下实现灵活的视频生成？

主要发现

• Open-Sora 在 VBench 上实现了开源视频生成的最先进性能，在总分、质量分数和语义分数方面超越了若干基线。
• Open-Sora 的版本 1.2 在 VBench 的总分达到 79.76，质量分 81.35，语义分 73.39。
• VBench 上的对比模型包括 CogVideo（总分 67.01）、Latte（总分 77.29）、LaVie（77.08）、Show-1（78.93），以及多种 Open-Sora 计划变体。
• 基于桶的多分辨率训练策略在计算效率和多样视频格式之间实现了有效平衡。
• 4x 时域压缩在 3D 自编码器中，在保持 FPS 的同时降低训练/推理成本并保持质量。