[论文解读] Spatio-temporal Features for Generalized Detection of Deepfake Videos

Ipek Ganiyusufoglu, Minh Ngo+3 more|arXiv (Cornell University)|Oct 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 7

一句话总结

本文提出使用3D卷积神经网络（3D CNNs）建模时空特征，以实现广义深度伪造视频检测，证明此类特征能比图像级或序列编码器更好地捕捉不同深度伪造方法之间的共享不一致。该方法在泛化到未见过的深度伪造技术方面显著优于现有方法，尤其能检测出RNN和2D CNN忽略的局部时空扰动。

ABSTRACT

For deepfake detection, video-level detectors have not been explored as extensively as image-level detectors, which do not exploit temporal data. In this paper, we empirically show that existing approaches on image and sequence classifiers generalize poorly to new manipulation techniques. To this end, we propose spatio-temporal features, modeled by 3D CNNs, to extend the generalization capabilities to detect new sorts of deepfake videos. We show that spatial features learn distinct deepfake-method-specific attributes, while spatio-temporal features capture shared attributes between deepfake methods. We provide an in-depth analysis of how the sequential and spatio-temporal video encoders are utilizing temporal information using DFDC dataset arXiv:2006.07397. Thus, we unravel that our approach captures local spatio-temporal relations and inconsistencies in the deepfake videos while existing sequence encoders are indifferent to it. Through large scale experiments conducted on the FaceForensics++ arXiv:1901.08971 and Deeper Forensics arXiv:2001.03024 datasets, we show that our approach outperforms existing methods in terms of generalization capabilities.

研究动机与目标

• 解决现有图像级和序列级深度伪造检测器在面对新型篡改技术时泛化能力差的问题。
• 探究通过3D CNN进行时空建模是否能提升在多种深度伪造生成方法中的检测鲁棒性。
• 分析3D CNN与RNN在检测深度伪造视频中时空不一致性时的时间建模差异。
• 验证时空特征是否能捕捉不同深度伪造类型之间的共享属性，而不同于方法特定的空间特征。
• 证明3D CNN对帧顺序和局部扰动敏感，而RNN对这类时间不一致性不敏感。

提出的方法

• 该方法采用3D CNN（R3D）通过在空间和时间上同时卷积的3D核，从视频片段中联合学习空间和时间表征。
• 将3D CNN与2D CNN（图像级）和RNN（序列级）作为视频编码器进行对比，使用EfficientNet-B3作为空间特征提取的主干网络。
• 通过受控的数据增强手段评估模型鲁棒性：帧翻转、帧shuffle和重新排序，以测试对时间顺序和时空相关性的敏感度。
• 使用Grad-CAM可视化分析注意力图，验证3D CNN是否聚焦于深度伪造视频中的局部时空不一致性。
• 在FF++和Deeper Forensics数据集上进行实验，以评估性能和对未见深度伪造方法的泛化能力。
• 使用log-loss作为度量指标，量化模型置信度和对序列改变的敏感度，更高的损失值表示对不一致性检测能力更强。

实验结果

研究问题

• RQ1 通过3D CNN建模的时空特征是否能比图像级或序列编码器更好地泛化到未见的深度伪造生成方法？
• RQ2 3D CNN与RNN在检测深度伪造视频中时间顺序和局部时空不一致性方面有何差异？
• RQ3 时空特征是否能捕捉不同深度伪造方法之间的共享属性，而空间特征是否仍保持方法特定性？
• RQ4 3D卷积的分层处理在多大程度上使模型对帧错位和shuffle具有鲁棒性？
• RQ5 为何RNN即使使用2D CNN主干网络的高级特征，仍无法检测出深度伪造伪影？

主要发现

• 与RNN相比，3D CNN（R3D）在帧错位和shuffle序列上表现出显著更低的log-loss，表明其对时间顺序和局部扰动具有强敏感性。
• 当每隔一帧被翻转时，R3D的log-loss增加1.5倍，而RNN基本不受影响，证明R3D依赖于时空相关性。
• 在帧翻转下，R3D的预测从真实变为伪造，这是由于激活了错位区域，确认其检测到局部不一致性。
• RNN在所有序列修改下保持相近的log-loss，表明其对时间顺序和时空相关性破坏完全不敏感。
• 2D CNN的空间特征捕捉的是方法特定的伪影，而3D CNN的时空特征则能识别出多种深度伪造技术之间的共享不一致性。
• 在FF++和Deeper Forensics数据集上，3D CNN在泛化到未见深度伪造方法方面优于2D CNN和RNN基线模型。