[论文解读] NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake Detection

Yu Chen, Yang Yu+3 more|arXiv (Cornell University)|Jun 12, 2023

Speech and Audio Processing被引用 4

一句话总结

NPVForensics 提出了一种新颖的深度伪造检测方法，通过利用非关键音素-视觉字母形配对中的不一致性——这些区域往往是高级伪造者难以实现完美音视频校准的薄弱点。通过采用基于 Swin Transformer 的局部特征聚合模块、音素-视觉字母形感知模块实现跨模态融合、协共变引导表示对齐，以及在大规模真实视频上进行自监督预训练，该方法在 FF++ 数据集上实现了 96.9% 的 AUC，达到当前最优性能，展现出强大的鲁棒性与跨数据集泛化能力。

ABSTRACT

Deepfake technologies empowered by deep learning are rapidly evolving, creating new security concerns for society. Existing multimodal detection methods usually capture audio-visual inconsistencies to expose Deepfake videos. More seriously, the advanced Deepfake technology realizes the audio-visual calibration of the critical phoneme-viseme regions, achieving a more realistic tampering effect, which brings new challenges. To address this problem, we propose a novel Deepfake detection method to mine the correlation between Non-critical Phonemes and Visemes, termed NPVForensics. Firstly, we propose the Local Feature Aggregation block with Swin Transformer (LFA-ST) to construct non-critical phoneme-viseme and corresponding facial feature streams effectively. Secondly, we design a loss function for the fine-grained motion of the talking face to measure the evolutionary consistency of non-critical phoneme-viseme. Next, we design a phoneme-viseme awareness module for cross-modal feature fusion and representation alignment, so that the modality gap can be reduced and the intrinsic complementarity of the two modalities can be better explored. Finally, a self-supervised pre-training strategy is leveraged to thoroughly learn the audio-visual correspondences in natural videos. In this manner, our model can be easily adapted to the downstream Deepfake datasets with fine-tuning. Extensive experiments on existing benchmarks demonstrate that the proposed approach outperforms state-of-the-art methods.

研究动机与目标

• 为解决现有多模态检测方法难以应对完美校准关键音素-视觉字母形区域的高级深度伪造挑战。
• 利用非关键音素-视觉字母形区域中细微的音视频不一致性——这些区域往往是伪造者难以实现完全同步的薄弱点。
• 通过新颖的音素-视觉字母形感知模块与协共变引导表示对齐，提升跨模态特征对齐并减少模态差异。
• 通过在大规模真实视频数据上进行自监督预训练，再在深度伪造数据集上微调，提升模型的泛化能力与鲁棒性。

提出的方法

• 设计了基于 Swin Transformer 的局部特征聚合模块（LFA-ST），用于从音频与视觉流中提取并保留局部与全局特征，特别关注非关键音素-视觉字母形区域。
• 引入细粒度运动一致性损失，用于衡量视频帧之间非关键音素与其对应视觉字母形之间的演化对齐程度。
• 音素-视觉字母形感知模块实现动态、基于注意力的音视频特征融合，增强模态间的内在互补性。
• 协共变引导表示对齐（CGRA）模块通过基于音素与视觉字母形表征之间共享统计依赖关系，对齐特征，从而减少模态差异。
• 采用自监督预训练策略，在大规模真实说话人脸视频上学习鲁棒的音视频对应关系，无需人工标注。
• 在下游深度伪造数据集上进行微调，实现强大的零样本迁移与跨数据集泛化能力。

Figure 1: This figure displays a challenging Lip-Sync forgery video example. On the left, the first row of video frames is real, while the second row is Deepfake. We observe that the forger has calibrated the phoneme-viseme pairs in critical phoneme regions like ‘m’, ‘b’ and ‘p’. Therefore, the diff

实验结果

研究问题

• RQ1 非关键音素-视觉字母形配对能否作为检测完美校准关键音素-视觉字母形区域的高级深度伪造的可靠线索？
• RQ2 如何有效融合与对齐音视频特征，以充分利用其在深度伪造检测中的互补性？
• RQ3 在大规模真实视频上进行自监督预训练，在多大程度上提升了下游深度伪造基准的检测性能与泛化能力？
• RQ4 局部特征聚合与细粒度运动一致性建模在检测细微音视频不一致性方面有何贡献？
• RQ5 所提出的跨模态融合与对齐机制相较于标准多模态融合，在鲁棒性与准确性方面表现如何？

主要发现

• NPVForensics 在 FF++ 数据集上达到 96.9% 的 AUC，优于当前最先进方法，且展现出强大的跨数据集泛化能力。
• 模型在 FSh 数据集上达到 96.7% AUC，在 DFo 数据集上达到 97.8% AUC，表明其在多种深度伪造操作类型下均具备强鲁棒性。
• 消融实验表明，若移除音频流，FakeAVCeleb 上性能下降 4.6%，证实了音视频不一致性检测的重要性。
• 当移除协共变引导表示对齐（CGRA）模块时，AUC 下降 4.0%，凸显其在减少模态差异中的关键作用。
• 使用 320,000 个真实视频片段进行自监督预训练，性能优于在 500,000 个人工标注的 LRW 片段上预训练的模型，表明该预训练方法具有更高的效率与可扩展性。
• LFA-ST 模块在性能上显著优于 ViT 与标准 Swin Transformer，证明其在捕捉非关键音素-视觉字母形区域中细微局部相关性方面的有效性。

Figure 2: NPVForensics Pipeline. NPVForensics is organized into two stages. The first stage is the pre-training stage. We screen the audio waveform, lip motion stream, and face stream of the real video for non-critical phoneme-viseme, then input them into Swin Transformer Encoder with Local Feature