[论文解读] Using Fully Convolutional Neural Networks to detect manipulated images in videos.

Michail Tarasiou, Stefanos Zafeiriou|arXiv (Cornell University)|Nov 29, 2019

Digital Media Forensic Detection参考文献 22被引用 2

一句话总结

本文提出了一种轻量级全卷积神经网络，通过识别操纵区域之间的共享局部特征，检测视频中的伪造人脸图像。采用带有结构偏置的多任务训练方案，该模型在FaceForensics++数据集上实现了最先进性能，且参数量显著少于先前方法。

ABSTRACT

Recent developments in computer vision and machine learning have made it possible to create realistic manipulated videos of human faces, raising the issue of ensuring adequate protection against the malevolent effects unlocked by such capabilities. In this paper we propose local image features that are shared across manipulated regions are the key element for the automatic detection of manipulated face images. We also design a lightweight architecture with the correct structural biases for extracting such features and derive a multitask training scheme that consistently outperforms image class supervision alone. The trained networks achieve state-of-the-art results in the FaceForensics++ dataset using significantly reduced number of parameters and are shown to work well in detecting fully generated face images.

研究动机与目标

• 为应对日益严重的逼真深度伪造视频威胁，开发一种自动化检测方法。
• 识别在人脸图像操纵区域中始终存在的共同局部图像特征。
• 设计一种带有结构偏置的轻量级神经网络架构，专门用于检测此类共享特征。
• 通过结合图像级别监督与局部特征学习的多任务训练方案，提升检测性能。

提出的方法

• 该方法采用全卷积神经网络（FCN）架构，处理整个视频帧的空间特征。
• 利用共享局部图像特征——在操纵区域中普遍存在——作为检测的主要信号。
• 引入多任务训练目标，结合图像级别分类与局部特征学习，以增强泛化能力。
• 网络设计中引入结构偏置，以利于检测操纵区域中空间上一致且重复出现的模式。
• 在FaceForensics++数据集上，使用真实与伪造人脸图像端到端训练模型。
• 架构经过优化以提高效率，在保持高检测准确率的同时减少参数数量。

实验结果

研究问题

• RQ1 能否有效利用操纵区域之间的共享局部图像特征作为检测深度伪造视频的信号？
• RQ2 与仅使用标准图像分类监督相比，带有结构偏置的多任务训练如何提升检测性能？
• RQ3 轻量级FCN架构能否在FaceForensics++基准上以更少参数实现最先进结果？
• RQ4 该模型在完全生成的人脸图像上泛化程度如何，而不仅限于后期处理的图像？

主要发现

• 所提模型在FaceForensics++数据集上实现了最先进性能，检测准确率优于现有方法。
• 与仅使用图像分类监督相比，多任务训练方案始终能提升检测性能。
• 与先前最先进模型相比，该网络架构在参数效率上显著更优，减少模型大小而不损失准确率。
• 该模型在完全生成的人脸图像上表现出强大的泛化能力，表明对多种操纵技术具有鲁棒性。
• 操纵区域之间的共享局部特征是深度伪造检测中可靠且具有判别力的信号。
• 轻量级设计支持高效推理，使该方法适用于实时视频分析应用。