[论文解读] StreamingT2V: Consistent, Dynamic, and Extendable Long Video Generation from Text

Roberto Henschel, Levon Khachatryan+6 more|arXiv (Cornell University)|Mar 21, 2024

Video Analysis and Summarization被引用 4

一句话总结

StreamingT2V 是一种自回归文本到视频扩散模型，通过引入条件注意力模块（CAM）实现短期记忆，以及外观保持模块（APM）实现长期记忆，从而实现高质量、一致且动态的长视频生成（最长可达1200帧），确保平滑过渡并最小化视频停滞。它在运动一致性与时间连贯性方面达到最先进性能，在MAWE和SCuts等关键指标上优于现有方法。

ABSTRACT

Text-to-video diffusion models enable the generation of high-quality videos that follow text instructions, making it easy to create diverse and individual content. However, existing approaches mostly focus on high-quality short video generation (typically 16 or 24 frames), ending up with hard-cuts when naively extended to the case of long video synthesis. To overcome these limitations, we introduce StreamingT2V, an autoregressive approach for long video generation of 80, 240, 600, 1200 or more frames with smooth transitions. The key components are:(i) a short-term memory block called conditional attention module (CAM), which conditions the current generation on the features extracted from the previous chunk via an attentional mechanism, leading to consistent chunk transitions, (ii) a long-term memory block called appearance preservation module, which extracts high-level scene and object features from the first video chunk to prevent the model from forgetting the initial scene, and (iii) a randomized blending approach that enables to apply a video enhancer autoregressively for infinitely long videos without inconsistencies between chunks. Experiments show that StreamingT2V generates high motion amount. In contrast, all competing image-to-video methods are prone to video stagnation when applied naively in an autoregressive manner. Thus, we propose with StreamingT2V a high-quality seamless text-to-long video generator that outperforms competitors with consistency and motion. Our code will be available at: https://github.com/Picsart-AI-Research/StreamingT2V

研究动机与目标

• 解决现有文本到视频扩散模型在生成长视频时因时间不一致性和视频停滞而失败的局限性。
• 克服将短视频模型扩展到长序列时运动动态性和外观一致性下降的问题。
• 设计一种基于记忆增强的自回归框架，以在长视频生成过程中保持高层场景和对象特征。
• 实现在自回归生成中无缝集成视频增强模型，而不会引入分块处理伪影。
• 实现对不同输入分辨率和模型架构具有鲁棒性的高质量、可扩展视频生成。

提出的方法

• 引入条件注意力模块（CAM），利用注意力机制将当前视频生成条件化在先前视频块的特征上，确保平滑过渡。
• 采用外观保持模块（APM），从第一帧提取并保留高层场景和对象特征，防止随时间推移出现外观漂移。
• 应用随机混合策略，无缝结合使用独立视频增强器时在自回归流水线中生成的重叠增强视频块。
• 使用固定锚定帧作为长期外观一致性的参考，减少基于CLIP的条件化带来的领域偏移问题。
• 将SDEdit方法适配至自回归视频增强，应用于24帧重叠块，并结合随机混合策略，避免时间不一致。
• 设计框架以支持可扩展性与多种基础文本到视频模型的兼容性，便于未来通过更优基础模型实现性能提升。

实验结果

研究问题

• RQ1 如何在不出现视频停滞或场景切换的情况下，实现自回归文本到视频生成在长视频序列中的稳定性？
• RQ2 哪些机制能有效在自回归视频生成过程中保持长期视觉一致性（如对象身份、场景布局）？
• RQ3 如何在不引入时间不一致性的前提下，将视频增强模型集成到自回归视频生成中？
• RQ4 基于注意力的条件化机制在保持运动动态性和过渡平滑性方面，相较于基于帧或基于CLIP的条件化机制，优势有多大？
• RQ5 与现有基线相比，基于记忆增强的架构在长视频文本到视频生成中能否显著提升运动质量和时间连贯性？

主要发现

• StreamingT2V 在所有竞争的开源方法中取得最低的MAWE得分（10.87），表明其运动一致性更优且视频停滞更少。
• 其SCuts得分为0.04，与FreeNoise和SEINE相当，但不同于二者的是，它保持了高运动动态性，未生成近似静态的视频。
• CLIP得分为31.30，仅次于最高分，表明由于APM提供的长期记忆，其文本对齐能力极强。
• APM 显著减少了外观漂移，在长达1200帧的视频中均能保持对象和场景特征，经定性和定量分析验证。
• 随机混合方法实现了对重叠块中视频增强器的一致应用，避免了增强后长视频中的时间伪影。
• StreamingT2V 在运动动态性和时间连贯性方面全面优于所有评估方法，定性结果表明其过渡平滑、无伪影且无停滞。