[论文解读] Zero-Shot Video Editing Using Off-The-Shelf Image Diffusion Models

Wen Wang, Jiang, Yan+6 more|arXiv (Cornell University)|Mar 30, 2023

Generative Adversarial Networks and Image Synthesis被引用 23

一句话总结

一种无需训练的方法（vid2vid-zero）通过重复使用预训练的图像扩散模型，结合空文本反演、时空注意力和跨帧正则化，在无需特定于视频的训练的情况下实现文本对齐、时序连贯的编辑。

ABSTRACT

Large-scale text-to-image diffusion models achieve unprecedented success in image generation and editing. However, how to extend such success to video editing is unclear. Recent initial attempts at video editing require significant text-to-video data and computation resources for training, which is often not accessible. In this work, we propose vid2vid-zero, a simple yet effective method for zero-shot video editing. Our vid2vid-zero leverages off-the-shelf image diffusion models, and doesn't require training on any video. At the core of our method is a null-text inversion module for text-to-video alignment, a cross-frame modeling module for temporal consistency, and a spatial regularization module for fidelity to the original video. Without any training, we leverage the dynamic nature of the attention mechanism to enable bi-directional temporal modeling at test time. Experiments and analyses show promising results in editing attributes, subjects, places, etc., in real-world videos. Code is made available at \url{https://github.com/baaivision/vid2vid-zero}.

研究动机与目标

• 在不需要大型文本-视频数据集或视频特定训练的情况下，激发零样本视频编辑。
• 实现文本驱动的编辑，与提示对齐，同时保持对原始视频的保真度。
• 利用预训练的图像扩散模型来进行具有时间一致性的视频编辑。
• 在无需训练的情况下探索平衡文本到视频的对齐、保真度和质量的机制。

提出的方法

• 使用 DDIM 反演将视频帧映射到潜在空间。
• 应用空文本优化，使反演结果与源提示对齐。
• 引入时空注意力（ST-Attn），实现跨帧的双向时序建模。
• 通过注入跨注意力映射来实现空间正则化，以保持对输入视频的保真度。
• 用跨帧注意力替代自注意力，以在测试时实现时序建模，无需重新训练。
• 将2D扩散块扩展为3D以用于视频推理，并在帧之间共享权重。

实验结果

研究问题

• RQ1 仅使用预训练的图像扩散模型而不进行视频训练，能否实现零样本视频编辑？
• RQ2 在使用图像扩散模型编辑视频的每一帧时，如何确保时序连贯性？
• RQ3 哪种反演、注意力和正则化的组合能够产生忠实且与提示对齐的编辑视频？
• RQ4 在测试时进行双向时序建模如何影响编辑质量和时序一致性？

主要发现

• vid2vid-zero 在零-shot 设置下实现文本对齐的编辑，同时保留对原始视频的保真度。
• 密集的时空注意力实现了双向时序建模，并提升了相比逐帧编辑的时序连贯性。
• 空文本优化有助于使反演的潜在轨迹与源提示对齐，从而提升重建保真度。
• 通过跨注意力映射实现的空间正则化保持内容保真度并引导编辑朝向提示区域。
• 消融研究表明，移除时序建模、空间引导或空文本反演会降低编辑质量和一致性。
• 在主观质量和帧一致性指标上，该方法相较于 Tune-A-Video 和 Plug-and-Play 表现更优。