[论文解读] Towards General Visual-Linguistic Face Forgery Detection

Ke Sun, Chen Shen+5 more|arXiv (Cornell University)|Jul 31, 2023

Face recognition and analysis被引用 4

一句话总结

该论文提出视觉-语言面部伪造检测（VLFFD），一种新颖的多模态框架，通过使用细粒度的句子级提示作为监督信号，以提升深度伪造检测中的泛化能力和可解释性。通过使用提示伪造图像生成器（PFIG）生成带有语义标注的混合伪造图像，并采用粗粒度与细粒度协同训练（C2F）框架进行训练，VLFFD在未见测试数据上的AUC相比基线模型提升了13%，且在与多模态大语言模型（LLMs）集成时，可实现可解释的、基于推理的检测。

ABSTRACT

Deepfakes are realistic face manipulations that can pose serious threats to security, privacy, and trust. Existing methods mostly treat this task as binary classification, which uses digital labels or mask signals to train the detection model. We argue that such supervisions lack semantic information and interpretability. To address this issues, in this paper, we propose a novel paradigm named Visual-Linguistic Face Forgery Detection(VLFFD), which uses fine-grained sentence-level prompts as the annotation. Since text annotations are not available in current deepfakes datasets, VLFFD first generates the mixed forgery image with corresponding fine-grained prompts via Prompt Forgery Image Generator (PFIG). Then, the fine-grained mixed data and coarse-grained original data and is jointly trained with the Coarse-and-Fine Co-training framework (C2F), enabling the model to gain more generalization and interpretability. The experiments show the proposed method improves the existing detection models on several challenging benchmarks. Furthermore, we have integrated our method with multimodal large models, achieving noteworthy results that demonstrate the potential of our approach. This integration not only enhances the performance of our VLFFD paradigm but also underscores the versatility and adaptability of our method when combined with advanced multimodal technologies, highlighting its potential in tackling the evolving challenges of deepfake detection.

研究动机与目标

• 解决现有二元标签面部伪造检测方法中缺乏语义监督和可解释性的问题。
• 通过利用细粒度文本标注来提升模型对未见伪造类型泛化能力。
• 通过生成可解释的、句子级的论证来实现可解释的检测。
• 探索将视觉-语言范式与多模态大语言模型（LLMs）结合，以提升检测性能。
• 从现有数据集中构建可扩展的图像-文本对生成流水线，实现细粒度伪造标注。

提出的方法

• 提出提示伪造图像生成器（PFIG），通过基于量化标准解耦并重组真实与伪造人脸对，自动生成混合伪造图像。
• 设计细粒度的句子级提示，描述伪造属性（例如，不自然的眼部形状、光照不一致等），作为语义监督信号。
• 提出粗粒度与细粒度协同训练（C2F）框架，在对比性多模态学习设置中联合训练粗粒度原始数据与细粒度混合数据。
• 采用CLIP作为骨干网络，实现视觉-语言特征对齐，支持零样本迁移，并提升对未见伪造类型的鲁棒性。
• 使用PFIG生成的图像-文本对对MiniGPT-4进行微调，结合基于推理的提示，使LLMs能够为检测决策提供可解释的论证。
• 采用双训练策略：一个用于端到端检测，另一个用于LLM微调，两者均使用相同的语义标注以保证一致性。

实验结果

研究问题

• RQ1 细粒度的句子级文本提示是否能超越二元标签，在面部伪造检测模型的泛化能力上带来提升？
• RQ2 通过视觉-语言监督的多模态学习在伪造检测中如何增强可解释性？
• RQ3 所提出的PFIG模块是否能在无需人工标注的情况下，生成真实且语义有意义的图像-文本对用于深度伪造数据？
• RQ4 将VLFFD与多模态LLMs集成后，在检测性能和推理能力方面能提升到何种程度？
• RQ5 C2F协同训练框架是否能有效利用粗粒度与细粒度数据，从而提升对未见伪造类型的鲁棒性？

主要发现

• VLFFD在未见测试数据上的AUC相比最先进基线模型提升了13%，证明其对未见伪造类型的泛化能力更优。
• 该模型不仅输出真实/伪造的预测结果，还能通过可解释的句子级说明识别出特定的伪造区域和属性。
• 使用PFIG生成的数据对MiniGPT-4进行微调后，LLM能够为检测决策提供准确且详细的论证，优于原始模型或在粗粒度标签上微调的模型。
• C2F协同训练框架有效结合了粗粒度与细粒度数据，促进了更鲁棒的特征学习，并增强了视觉与语言信号之间的对齐。
• PFIG模块成功从现有数据集中生成语义合理且多样的图像-文本对，为多模态训练提供了可扩展的数据增强方法。
• 与多模态LLMs集成展现出显著潜力，微调后的模型在准确率和推理质量上均优于原始LLM及在粗粒度标签上训练的模型。