[论文解读] One Detector to Rule Them All: Towards a General Deepfake Attack Detection Framework

Shahroz Tariq, Sang Yup Lee+1 more|arXiv (Cornell University)|May 1, 2021

Adversarial Robustness in Machine Learning参考文献 33被引用 12

一句话总结

本文提出CLRNet，一种基于卷积LSTM的残差网络，通过建模时空伪影，利用连续视频帧检测多种深度伪造内容。其在基准数据集上的平均准确率达到97.57%，在高质量的DeepFake-in-the-Wild（DFW）视频上达到93.86%，在泛化能力方面优于当前最先进方法。

ABSTRACT

Deep learning-based video manipulation methods have become widely accessible to the masses. With little to no effort, people can quickly learn how to generate deepfake (DF) videos. While deep learning-based detection methods have been proposed to identify specific types of DFs, their performance suffers for other types of deepfake methods, including real-world deepfakes, on which they are not sufficiently trained. In other words, most of the proposed deep learning-based detection methods lack transferability and generalizability. Beyond detecting a single type of DF from benchmark deepfake datasets, we focus on developing a generalized approach to detect multiple types of DFs, including deepfakes from unknown generation methods such as DeepFake-in-the-Wild (DFW) videos. To better cope with unknown and unseen deepfakes, we introduce a Convolutional LSTM-based Residual Network (CLRNet), which adopts a unique model training strategy and explores spatial as well as the temporal information in deepfakes. Through extensive experiments, we show that existing defense methods are not ready for real-world deployment. Whereas our defense method (CLRNet) achieves far better generalization when detecting various benchmark deepfake methods (97.57% on average). Furthermore, we evaluate our approach with a high-quality DeepFake-in-the-Wild dataset, collected from the Internet containing numerous videos and having more than 150,000 frames. Our CLRNet model demonstrated that it generalizes well against high-quality DFW videos by achieving 93.86% detection accuracy, outperforming existing state-of-the-art defense methods by a considerable margin.

研究动机与目标

• 解决现有深度伪造检测模型在特定基准数据集上训练时泛化能力不足的问题。
• 开发一种统一的检测框架，能够识别多种深度伪造类型，包括未知和真实世界（DFW）生成方法。
• 提升模型对现实世界中普遍存在的未见深度伪造生成技术的鲁棒性。
• 在从互联网收集的高质量、大规模DFW数据集上评估检测性能。
• 建立一种实用且可迁移的防御策略，在不产生灾难性遗忘的前提下，保持对多种深度伪造类型的高准确率。

提出的方法

• 提出一种基于卷积LSTM的残差网络（CLRNet），通过处理连续视频帧序列来捕捉时空不一致性。
• 结合残差块进行空间特征提取与使用ConvLSTM层进行时间建模，以检测帧内及帧间伪影。
• 采用独特的训练策略，结合域不变表示学习与多数据集微调，以增强泛化能力。
• 结合基准数据集（FaceSwap、DeepFake、Face2Face）与新收集的包含超过15万个帧的DFW数据集用于训练与评估。
• 在不降低性能的前提下，实现跨多种深度伪造类型的迁移学习，使单一模型能够检测多种篡改方法。
• 实施弱监督训练范式，以提升在有限或未见深度伪造类型上的鲁棒性。

实验结果

研究问题

• RQ1 单一深度伪造检测模型能否在多个基准深度伪造数据集及未见的真实世界深度伪造中实现有效泛化？
• RQ2 与基于帧的方法相比，建模连续视频帧之间的时间动态是否能显著提升检测性能？
• RQ3 所提出的训练策略在多大程度上提升了对未知深度伪造生成方法的泛化能力？
• RQ4 与现有最先进方法相比，CLRNet在高质量、真实世界DeepFake-in-the-Wild（DFW）视频上的表现如何？
• RQ5 在多领域训练中，使用连续帧是否显著减少了灾难性遗忘？

主要发现

• CLRNet在五个基准深度伪造数据集上的平均检测准确率达到97.57%，显著优于现有方法。
• 在包含200段视频、超过15万个帧的高质量真实世界DeepFake-in-the-Wild（DFW）数据集上，CLRNet的检测准确率达到93.86%。
• 该模型在未见的深度伪造类型上表现出优越的泛化能力，包括训练过程中未出现的未知生成方法所产生的伪造内容。
• 采用CLRNet的融合与迁移学习策略展现出一致的性能提升，且无性能退化，表明其具有强大的可迁移性。
• 现有防御方法无法泛化至真实世界的DFW视频，而CLRNet保持高准确率，证明其在真实世界部署中的实用性。
• 通过ConvLSTM与残差块结合的空间与时间建模，能够检测帧间细微伪影，而这些伪影常被仅基于帧的模型所忽略。