[论文解读] MuseTalk: Real-Time High-Fidelity Video Dubbing via Spatio-Temporal Sampling

Yue Zhang, Zhong, Zhizhou+8 more|arXiv (Cornell University)|Oct 14, 2024

Speech and Audio Processing被引用 4

一句话总结

MuseTalk 提出了一种两阶段框架，用于实现高保真度的实时视频配音，在 NVIDIA V100 上以 256×256 分辨率实现 30 FPS 的性能，通过在潜在空间中采用时空采样技术达成。该方法通过信息性帧采样和动态边缘采样，解决了视觉保真度与口型同步准确性之间的权衡，在保持强同步性的同时，视觉质量优于先前方法。

ABSTRACT

Real-time video dubbing that preserves identity consistency while achieving accurate lip synchronization remains a critical challenge. Existing approaches face a trilemma: diffusion-based methods achieve high visual fidelity but suffer from prohibitive computational costs, while GAN-based solutions sacrifice lip-sync accuracy or dental details for real-time performance. We present MuseTalk, a novel two-stage training framework that resolves this trade-off through latent space optimization and spatio-temporal data sampling strategy. Our key innovations include: (1) During the Facial Abstract Pretraining stage, we propose Informative Frame Sampling to temporally align reference-source pose pairs, eliminating redundant feature interference while preserving identity cues. (2) In the Lip-Sync Adversarial Finetuning stage, we employ Dynamic Margin Sampling to spatially select the most suitable lip-movement-promoting regions, balancing audio-visual synchronization and dental clarity. (3) MuseTalk establishes an effective audio-visual feature fusion framework in the latent space, delivering 30 FPS output at 256*256 resolution on an NVIDIA V100 GPU. Extensive experiments demonstrate that MuseTalk outperforms state-of-the-art methods in visual fidelity while achieving comparable lip-sync accuracy. %The codes and models will be made publicly available upon acceptance. The code is made available at \href{https://github.com/TMElyralab/MuseTalk}{https://github.com/TMElyralab/MuseTalk}

研究动机与目标

• 解决实时视频配音中的三重困境：高视觉保真度、准确的口型同步和低计算成本。
• 克服基于扩散模型方法（高延迟）和基于 GAN 的方法（牙齿细节差或同步准确性低）的局限性。
• 实现实时推理（30 FPS），同时不牺牲视觉质量或身份一致性。
• 通过潜在空间中的新型两阶段训练策略，优化音视频对齐。
• 通过在空间上选择性地采样促进运动的区域，提升牙齿清晰度和口部运动准确性。

提出的方法

• 在面部抽象预训练阶段引入信息性帧采样，以在参考帧与源姿态对之间实现时间对齐，减少冗余特征干扰，同时保留身份线索。
• 在口型同步对抗微调阶段采用动态边缘采样，选择最相关的口部区域特征以实现音视频对齐。
• 设计了一种潜在空间中的音视频特征融合机制，实现在推理阶段高效且高保真度的生成。
• 采用两阶段训练范式：首先在多样化面部表情数据集上进行预训练，然后对精确口型同步进行微调。
• 应用时空采样策略，在保持高分辨率输出的同时降低计算负载。
• 利用 V100 GPU 实现 256×256 分辨率下 30 FPS 的推理性能，证明了其实现实时性能。

实验结果

研究问题

• RQ1 两阶段训练框架是否能在实时视频配音中同时实现高视觉保真度和准确的口型同步？
• RQ2 在训练过程中，如何在保持身份一致性的同时最小化冗余特征干扰？
• RQ3 在潜在空间中，哪种采样策略能最大化口型同步准确性和牙齿细节清晰度？
• RQ4 动态空间采样是否能增强模型对促进运动的面部区域的关注，同时不降低整体质量？
• RQ5 在潜在空间中应用时空采样是否能实现实时推理而不损害视觉保真度？

主要发现

• MuseTalk 在 NVIDIA V100 GPU 上以 256×256 分辨率实现了 30 FPS 的推理性能，证明了其具备实时性。
• 在视觉保真度方面，模型在感知质量和身份保留度指标上均优于当前最先进方法。
• 口型同步准确性与现有基于 GAN 和扩散模型的方法相当或更优，尤其在牙齿细节保留方面表现突出。
• 信息性帧采样在预训练阶段减少了特征冗余，并提升了身份一致性。
• 动态边缘采样增强了对口部区域的空间注意力，从而实现了更精确的音视频同步。
• 潜在空间融合与时空采样相结合，实现了高保真输出，同时计算开销极低。