[论文解读] OmniEdit: A Training-free framework for Lip Synchronization and Audio-Visual Editing

Lixiang Lin, Siyuan Jin+1 more|arXiv (Cornell University)|Mar 10, 2026

Speech and Audio Processing被引用 0

一句话总结

OmniEdit 通过将 FlowEdit 重构为在目标序列上操作并去除随机采样，实现训练自由的口型同步与音视频编辑，提供稳定且高质量的结果，无需任务特定微调。

ABSTRACT

Lip synchronization and audio-visual editing have emerged as fundamental challenges in multimodal learning, underpinning a wide range of applications, including film production, virtual avatars, and telepresence. Despite recent progress, most existing methods for lip synchronization and audio-visual editing depend on supervised fine-tuning of pre-trained models, leading to considerable computational overhead and data requirements. In this paper, we present OmniEdit, a training-free framework designed for both lip synchronization and audio-visual editing. Our approach reformulates the editing paradigm by substituting the edit sequence in FlowEdit with the target sequence, yielding an unbiased estimation of the desired output. Moreover, by removing stochastic elements from the generation process, we establish a smooth and stable editing trajectory. Extensive experimental results validate the effectiveness and robustness of the proposed framework. Code is available at https://github.com/l1346792580123/OmniEdit.

研究动机与目标

• 推动在多模态内容生成中实现无需训练的口型同步与跨模态编辑的方法。
• 消除对特定任务微调和大规模配对数据集的需求。
• 为稳定生成提供一个有原理、无偏的目标序列迭代表述。

提出的方法

• 将 FlowEdit 中的编辑序列替换为对目标序列的迭代，以获得无偏的输出估计。
• 通过从一个预训练扩散模型中估计噪声来去除随机高斯采样，以确保轨迹的平滑性。
• 通过以目标音频引导预训练的音频到视频扩散模型，将框架应用于口型同步。
• 扩展至音视频编辑，通过在文本提示条件下联合引导视频和音频来实现。
• 使用确定性的、噪声估计的更新规则来提升稳定性和输出质量。

Figure 1 : Overview of OmniEdit . (a) Conditioned on the target audio, OmniEdit leverages a pre-trained audio-to-video diffusion model to synchronize the lip movements in the source video with the target audio signal. (b) Utilizing an audio–visual generation model, OmniEdit performs concurrent modif

实验结果

研究问题

• RQ1 在无需任务特定微调的训练-free 框架下，是否可以实现口型同步？
• RQ2 与原始 FlowEdit 的编辑序列相比，是否通过对目标序列的迭代可以得到无偏的期望输出？
• RQ3 确定性、噪声估计的生成轨迹是否能提升口型同步与音视频编辑的稳定性与质量？
• RQ4 在标准口型同步基准和定性引导的音视频编辑中，OmniEdit 的表现如何？

主要发现

Method	FID ↓	FVD ↓	CSIM ↑	NIQE ↓	BRISQUE ↓	HyperIQA ↑	LMD ↓	LSE-C ↑
Wav2Lip	14.912	543.340	0.852	6.495	53.372	10.007	7.630	7.?
IP-LAP	9.512	325.691	0.809	6.533	54.402	7.695	7.260	7.260
Diff2Lip	12.079	461.341	0.869	6.261	49.361	18.986	7.140	7.140
MuseTalk	8.759	231.418	0.862	5.824	46.003	8.701	6.890	?
LatentSync	8.518	216.899	0.859	6.270	50.861	17.344	8.050	8.050
Omnisync	7.855	199.627	0.875	5.481	37.917	7.097	7.309	7.309
Ours(Humo1.7B)	7.952	201.038	0.879	5.604	39.527	7.698	7.157	7.157
Ours(Humo17B)	7.623	190.299	0.883	5.385	37.412	7.482	7.286	7.286

• OmniEdit 在不需要额外训练的情况下实现具有竞争力甚至优于监督方法的口型同步性能。
• 目标序列迭代相比编辑序列方法在 FID 和 FVD 上表现更优，表明更高的视觉保真度。
• 用估计的噪声替代随机采样可产生更平滑的轨迹和更清晰的面部细节。
• 在 HDTF 数据集上，带有大模型的 OmniEdit 变体表现出强烈的 CSIM 和有利的无参考指标（NIQE/BRISQUE）。
• 在 AIGC-LipSync 基准上，OmniEdit 变体实现较高的生成成功率和强 CSIM，视觉保真度有所提升。
• 定性结果显示了在文本引导下进行有效的音视频编辑，跨模态输出保持一致性。

Figure 2 : Qualitative results of our proposed method and other methods. Our method achieves more accurate lip synchronization and produces clearer dental details. Please zoom in to observe the fine-grained improvements.