[论文解读] Multimodal Graph Learning for Deepfake Detection

Zhiyuan Yan, Peng Sun+5 more|arXiv (Cornell University)|Sep 12, 2022

Emotion and Mood Recognition被引用 4

一句话总结

本文提出多模态图学习（MGL），一种新颖的深度伪造检测框架，通过图神经网络（GNNs）和自适应融合模块，整合空间、频域、关键点和时序特征。通过将面部关键点和帧级不一致性建模为图，并采用具有自适应门控的双向跨模态变换器，MGL在FF++、CelebDF和DFD基准上实现了最先进的一般化能力和鲁棒性，优于现有方法，在检测未见的伪造类型和抵抗外部扰动方面表现更优。

ABSTRACT

Existing deepfake detectors face several challenges in achieving robustness and generalization. One of the primary reasons is their limited ability to extract relevant information from forgery videos, especially in the presence of various artifacts such as spatial, frequency, temporal, and landmark mismatches. Current detectors rely on pixel-level features that are easily affected by unknown disturbances or facial landmarks that do not provide sufficient information. Furthermore, most detectors cannot utilize information from multiple domains for detection, leading to limited effectiveness in identifying deepfake videos. To address these limitations, we propose a novel framework, namely Multimodal Graph Learning (MGL) that leverages information from multiple modalities using two GNNs and several multimodal fusion modules. At the frame level, we employ a bi-directional cross-modal transformer and an adaptive gating mechanism to combine the features from the spatial and frequency domains with the geometric-enhanced landmark features captured by a GNN. At the video level, we use a Graph Attention Network (GAT) to represent each frame in a video as a node in a graph and encode temporal information into the edges of the graph to extract temporal inconsistency between frames. Our proposed method aims to effectively identify and utilize distinguishing features for deepfake detection. We evaluate the effectiveness of our method through extensive experiments on widely-used benchmarks and demonstrate that our method outperforms the state-of-the-art detectors in terms of generalization ability and robustness against unknown disturbances.

研究动机与目标

• 解决现有深度伪造检测器依赖单模态、像素级特征所导致的一般化能力有限的问题。
• 通过多模态、基于图的表征，克服对方法特异性伪影和与伪造无关纹理的过拟合问题。
• 通过图神经网络建模面部关键点间的几何关系以及帧间的时间不一致性，提升检测性能。
• 开发自适应融合机制，根据内容相关性动态加权空间与频域特征。
• 证明基于图的建模在局部（帧级）和全局（视频级）伪造模式识别中的有效性。

提出的方法

• 该框架采用空间-频域融合（SFF）模块，利用双向跨模态变换器和自适应门控，在帧级别结合空间与频域特征。
• 关键点图学习（LGL）模块使用图注意力网络（GAT）将面部关键点编码为图，捕捉关键点之间的几何依赖关系。
• 时序图学习（TGL）模块构建视频级图，其中每帧为一个节点，边通过学习到的注意力权重编码时间不一致性。
• 模型将来自FM（频域模块）、LGL、TGL和SFF模块的特征整合为统一表征，用于最终分类。
• 该框架使用两个GNN——一个用于关键点几何，一个用于时序动态——实现对局部与全局伪造模式的联合建模。
• 自适应门控和交叉注意力机制实现动态特征加权，提升对不同伪影分布的鲁棒性。

实验结果

研究问题

• RQ1 基于图的面部关键点建模是否能超越简单的坐标序列，提升深度伪造检测性能？
• RQ2 能否通过具有学习边表示的图方法有效捕捉帧间的时间不一致性？
• RQ3 在深度伪造检测中，空间与频域特征的自适应融合是否优于固定或单向融合策略？
• RQ4 多模态图学习框架是否能提升对多样化深度伪造伪造方法和未见数据集的一般化能力？
• RQ5 整合多种模态（空间、频域、关键点、时序）在多大程度上提升了对光照和噪声等外部扰动的鲁棒性？

主要发现

• 所提出的MGL框架在FF++、CelebDF和DFD基准上达到最先进性能，展现出对未见伪造方法的优越泛化能力。
• 采用双向注意力和自适应门控的SFF模块优于线性相加和M2TR融合方法，通过动态特征加权显著提升检测准确率。
• LGL模块通过建模面部关键点间的几何关系显著提升性能，优于基于坐标的关键点编码基线。
• TGL模块有效捕捉帧间的时间不一致性，有助于提升对帧级伪造伪影的检测能力。
• 大量消融实验确认，FM、LGL、TGL和SFF所有组件均对最终检测性能有正向贡献。
• 该模型对光照变化和噪声等外部扰动表现出强鲁棒性，表明相比基线模型具有更强的抗干扰能力。