[论文解读] Recurrent-Convolution Approach to DeepFake Detection - State-Of-Art Results on FaceForensics++

Ekraam Sabir, Jiaxin Cheng+4 more|arXiv (Cornell University)|May 2, 2019

Digital Media Forensic Detection参考文献 21被引用 6

一句话总结

本文提出了一种循环-卷积深度学习模型，通过利用视频流中的时序动态特性，检测深度伪造（Deepfake）、Face2Face 和 FaceSwap 等篡改行为。通过将优化的循环-卷积架构与领域特定的人脸预处理相结合，该方法在 FaceForensics++ 数据集上实现了最先进性能，相较于先前方法最高提升 4.55% 的准确率。

ABSTRACT

The spread of misinformation through synthetically generated yet realistic images and videos has become a significant problem, calling for robust manipulation detection methods. Despite the predominant effort of detecting face manipulation in still images, less attention has been paid to the identification of tampered faces in videos by taking advantage of the temporal information present in the stream. Recurrent convolutional models are a class of deep learning models which have proven effective at exploiting the temporal information from image streams across domains. We thereby distill the best strategy for combining variations in these models along with domain specific face preprocessing techniques through extensive experimentation to obtain state-of-the-art performance on publicly available video-based facial manipulation benchmarks. Specifically, we attempt to detect Deepfake, Face2Face and FaceSwap tampered faces in video streams. Evaluation is performed on the recently introduced FaceForensics++ dataset, improving the previous state-of-the-art by up to 4.55% in accuracy.

研究动机与目标

• 应对视频面部篡改（如深度伪造、Face2Face 和 FaceSwap）带来的日益增长的虚假信息传播威胁。
• 利用视频序列中的时序信息，提升检测性能，超越仅依赖静态图像的方法。
• 优化循环网络与卷积神经网络组件的集成，以实现视频级别的篡改检测。
• 通过结合架构创新与领域特定的预处理技术，提升基准数据集上的检测性能。
• 在 FaceForensics++ 数据集上实现最先进结果，为基于视频的深度伪造检测设立新的性能标准。

提出的方法

• 采用循环-卷积神经网络架构，以建模视频帧之间的时空依赖关系。
• 应用领域特定的人脸预处理技术，以增强特征表示并提升模型鲁棒性。
• 系统性地实验循环与卷积组件的多种变体，以识别最优配置。
• 在包含多种视频面部篡改类型的 FaceForensics++ 数据集上进行模型训练与评估。
• 采用端到端训练，联合学习帧内空间特征与序列间的时间模式。
• 通过广泛的消融研究优化超参数与模型架构，以最大化检测准确率。

实验结果

研究问题

• RQ1 循环-卷积模型在多大程度上能有效利用视频流中的时序信息来检测面部篡改？
• RQ2 用于基于视频的深度伪造检测时，最优的循环与卷积组件组合是什么？
• RQ3 领域特定的预处理技术在多大程度上影响深度伪造检测模型在视频基准上的性能？
• RQ4 架构改进与超参数调优在多大程度上能提升 FaceForensics++ 数据集上的检测准确率？
• RQ5 所提出的方法能否在基于视频的面部篡改检测中超越现有最先进方法？

主要发现

• 所提出的循环-卷积模型在 FaceForensics++ 基准上相较于先前最先进方法实现了 4.55% 的准确率提升。
• 通过循环层实现的时序建模显著提升了检测性能，相较于仅依赖空间卷积特征的模型表现更优。
• 通过将特定循环架构与定制化的人脸预处理流程相结合，可实现最佳性能。
• 该方法在多种篡改类型（包括 Deepfake、Face2Face 和 FaceSwap）上均表现出良好的泛化能力。
• 广泛的消融研究证实，架构选择与预处理技术对最终检测准确率具有显著影响。
• 该模型在 FaceForensics++ 数据集上设立了新的性能标准，证明了时序建模在基于视频的深度伪造检测中的有效性。