[论文解读] VideoDreamer: Customized Multi-Subject Text-to-Video Generation with Disen-Mix Finetuning on Language-Video Foundation Models

Hong Chen, Xin Wang+6 more|arXiv (Cornell University)|Nov 2, 2023

Advanced Vision and Imaging被引用 6

一句话总结

本文提出 VideoDreamer，一种用于定制化多主体文本到视频生成的新框架，通过解耦混合微调（Disen-Mix fine-tuning）与人类在环路再微调（Human-in-the-Loop Re-finetuning）技术，实现主体身份保留并缓解属性绑定问题。该方法在所提出的 MultiStudioBench 基准测试中达到最先进性能，能够生成时间上一致、高保真度的视频，支持新动作与新背景，同时忠实保留多个用户定义主体的视觉特征。

ABSTRACT

Customized text-to-video generation aims to generate text-guided videos with user-given subjects, which has gained increasing attention. However, existing works are primarily limited to single-subject oriented text-to-video generation, leaving the more challenging problem of customized multi-subject generation unexplored. In this paper, we fill this gap and propose a novel VideoDreamer framework, which can generate temporally consistent text-guided videos that faithfully preserve the visual features of the given multiple subjects. Specifically, VideoDreamer adopts the pretrained Stable Diffusion with temporal modules as its base video generator, taking the power of the text-to-image model to generate diversified content. The video generator is further customized for multi-subjects, which leverages the proposed Disen-Mix Finetuning and Human-in-the-Loop Re-finetuning strategy, to tackle the attribute binding problem of multi-subject generation. Additionally, we present a disentangled motion customization strategy to finetune the temporal modules so that we can generate videos with both customized subjects and motions. To evaluate the performance of customized multi-subject text-to-video generation, we introduce the MultiStudioBench benchmark. Extensive experiments demonstrate the remarkable ability of VideoDreamer to generate videos with new content such as new events and backgrounds, tailored to the customized multiple subjects.

研究动机与目标

• 为解决定制化多主体文本到视频生成领域中缺乏研究的问题，即在生成视频中需保留多个用户定义主体的视觉身份。
• 克服属性绑定问题，即在生成帧中不同主体的视觉特征发生纠缠、难以区分。
• 开发一种微调策略，在保持高时间一致性与文本一致性的同时，保留主体身份。
• 提出一个全面的基准测试 MultiStudioBench，用于评估定制化多主体文本到视频生成模型。
• 实现生成包含新事件与新背景的视频，同时忠实整合多个定制化主体。

提出的方法

• 基于预训练的 Stable Diffusion 模型，引入潜在码运动动力学与时间跨帧注意力机制，作为基础视频生成器。
• 提出 Disen-Mix 微调方法，通过辅助任务对混合主体图像进行去噪，以实现主体特征解耦并减少人工拼接伪影。
• 采用解耦嵌入——共享主体身份条件、共享拼接条件与图像特定嵌入——以防止过拟合并提升泛化能力。
• 引入人类在环路再微调（HLR），利用人类反馈迭代优化模型，减少图像混合带来的视觉伪影。
• 采用多阶段微调流程，结合 Disen-Mix 与 HLR，以增强主体保真度并减少视觉伪影。
• 使用 MultiStudioBench 基准测试，包含多样化主体与提示，评估主体保真度、提示遵循度、时间一致性与伪影水平。

实验结果

研究问题

• RQ1 文本到视频生成模型是否能有效在单个视频中保留多个用户定义主体的视觉身份？
• RQ2 在多主体文本到视频生成过程中，如何缓解属性绑定问题？
• RQ3 与基线方法相比，Disen-Mix 微调在多大程度上减少了视觉伪影并提升了主体解耦效果？
• RQ4 人类在环路再微调在优化模型输出与减少人工拼接效应方面有多高效？
• RQ5 所提出的框架能否在保持高主体保真度与时间一致性的前提下，生成包含新动作与新背景的视频？

主要发现

• VideoDreamer 在对比方法中取得最高的 DINO 分数（0.501）与最低的拼接分数（0.036），表明其在主体身份保留方面表现卓越，且伪影最少。
• 在采用人类在环路再微调后，3 个主体设置下的拼接分数从 0.178 降低至 0.045，显著减少了视觉拼接问题。
• 消融实验证实，图像特定嵌入与共享拼接条件（PN）均不可或缺，若移除任一，拼接分数将上升至 0.287。
• VideoDreamer 在所有指标上均优于 DreamBooth 与 SVDiff：其保持了较高的 CLIP-T 分数（0.306）与时间一致性（0.943），同时最小化了伪影。
• 定性结果表明，VideoDreamer 成功保留了主体身份，并生成了具有新动作与新背景的连贯视频，而基线方法则普遍存在身份混淆或伪影问题。
• 该框架在多样化主体组合与复杂提示（包括多事件与多环境场景）下展现出强大的泛化能力。