[论文解读] WorldGPT: A Sora-Inspired Video AI Agent as Rich World Models from Text and Image Inputs

Deshun Yang, Luhui Hu+6 more|arXiv (Cornell University)|Mar 10, 2024

Multimodal Machine Learning Applications被引用 4

一句话总结

WorldGPT 提出了一种受 Sora 启发的视频 AI 代理，通过两阶段流程从文本和图像输入生成高质量、时序一致的视频：第一阶段利用 GPT 驱动的提示增强模块精确优化指令，第二阶段采用基于扩散模型的视频生成模块，借助关键帧提升运动平滑性。该方法在文本-视频对齐、时序一致性和运动质量方面达到最先进性能，在人类评估中优于 DynamiCrafter 和 I2VGen-XL。

ABSTRACT

Several text-to-video diffusion models have demonstrated commendable capabilities in synthesizing high-quality video content. However, it remains a formidable challenge pertaining to maintaining temporal consistency and ensuring action smoothness throughout the generated sequences. In this paper, we present an innovative video generation AI agent that harnesses the power of Sora-inspired multimodal learning to build skilled world models framework based on textual prompts and accompanying images. The framework includes two parts: prompt enhancer and full video translation. The first part employs the capabilities of ChatGPT to meticulously distill and proactively construct precise prompts for each subsequent step, thereby guaranteeing the utmost accuracy in prompt communication and accurate execution in following model operations. The second part employ compatible with existing advanced diffusion techniques to expansively generate and refine the key frame at the conclusion of a video. Then we can expertly harness the power of leading and trailing key frames to craft videos with enhanced temporal consistency and action smoothness. The experimental results confirm that our method has strong effectiveness and novelty in constructing world models from text and image inputs over the other methods.

研究动机与目标

• 为解决文本到视频生成过程中保持时序一致性和动作平滑性的挑战。
• 通过将多模态输入（文本和图像）整合到统一的世界模型框架中，提升视频生成质量。
• 通过精确的、经 GPT 优化的提示提升用户控制能力，以指导视频生成。
• 开发一种利用现有先进扩散模型实现高保真视频合成、并提升时空一致性的流程。
• 在零样本基准和人类偏好研究中评估该方法，证明其在对齐与运动质量方面的优越性。

提出的方法

• 该框架采用两部分的流水线：使用 GPT 的提示增强模块，用于精炼并主动构建用于视频生成的精确文本指令。
• 完整视频转换阶段采用兼容的扩散技术，生成并优化视频序列起始和结束处的关键帧。
• 通过利用前导和尾随关键帧来引导中间帧的生成，从而增强时序一致性。
• 该方法整合了动态场景建模与多模态融合，以使视频内容与文本描述及输入图像保持对齐。
• 通过损失函数最小化生成帧与真实帧之间的差异，利用光流（F）和外观变化场（B）确保时空一致性。
• 系统通过 AIGCBench 基准和人类偏好研究进行评估，与 DynamiCrafter 和 I2VGen-XL 进行对比。

实验结果

研究问题

• RQ1 基于 GPT 的提示生成策略是否能显著提升视频生成中的文本-视频对齐？
• RQ2 基于关键帧的扩散建模在多大程度上能增强生成视频的时序一致性和运动平滑性？
• RQ3 文本和图像输入的多模态融合在多大程度上提升了视频生成的可控性与多样性？
• RQ4 在零样本视频生成基准中，该方法与 SOTA 模型（如 DynamiCrafter 和 I2VGen-XL）相比表现如何？
• RQ5 在用户评估中，人类对视频质量、运动真实感和对齐程度的偏好如何？

主要发现

• WorldGPT 在 AIGCBench 上的 GenVideo-Text Clip 得分为 0.307，优于 DynamiCrafter（0.24）和 I2VGen-XL（0.26），在文本-视频对齐方面表现更优。
• 该方法在 GenVideo Clip 指标上的时序一致性得分为 0.992，超过 DynamiCrafter（0.980）和 I2VGen-XL（0.960）。
• 在人类评估中，66.8% 的参与者更偏好 WorldGPT 的运动质量，而 68.7% 更偏好其文本-视频对齐效果。
• WorldGPT 在处理复杂、分布外的文本提示方面表现出色，能更准确地生成反映输入图像中未包含的新场景描述的视频。
• 该模型获得了 0.521 的 DOVER 得分，表明其帧级质量优异；GenVideo-RefVideo SSIM 得分为 0.374，表明与参考视频的对齐性显著提升。
• 定性结果证实，WorldGPT 更好地捕捉了提示之间的语义差异，尤其在提示与输入图像显著偏离时表现更优；而 DynamiCrafter 通常生成几乎相同的输出。