[论文解读] Practical Deepfake Detection: Vulnerabilities in Global Contexts

Yang A. Chuming, Daniel J. Wu+1 more|arXiv (Cornell University)|Jun 20, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出了一种视频损坏流程，以模拟低带宽环境中真实世界的画质退化情况，表明最先进的深度伪造检测模型在受损视频上会失效——即使原始视频是真实的。关键发现是，当对视频应用CRF50或数据马赛克（datamoshing）后，模型会自信地将真实视频误判为伪造视频，揭示了在全球部署场景中存在关键性漏洞。

ABSTRACT

Recent advances in deep learning have enabled realistic digital alterations to videos, known as deepfakes. This technology raises important societal concerns regarding disinformation and authenticity, galvanizing the development of numerous deepfake detection algorithms. At the same time, there are significant differences between training data and in-the-wild video data, which may undermine their practical efficacy. We simulate data corruption techniques and examine the performance of a state-of-the-art deepfake detection algorithm on corrupted variants of the FaceForensics++ dataset. While deepfake detection models are robust against video corruptions that align with training-time augmentations, we find that they remain vulnerable to video corruptions that simulate decreases in video quality. Indeed, in the controversial case of the video of Gabonese President Bongo's new year address, the algorithm, which confidently authenticates the original video, judges highly corrupted variants of the video to be fake. Our work opens up both technical and ethical avenues of exploration into practical deepfake detection in global contexts.

研究动机与目标

• 调查最先进的深度伪造检测模型在低带宽地区常见的实际视频画质退化下的实际鲁棒性。
• 模拟诸如比特率降低、分辨率缩小、CRF调节和数据马赛克等视频损坏，以模拟真实世界的画质损失。
• 评估最先进的深度伪造检测模型在FaceForensics++数据集受损版本上的性能表现。
• 探讨在技术基础设施有限且数字素养较低的地区，模型失效带来的伦理风险。
• 以加蓬总统演讲视频为现实案例，说明损坏如何导致真实视频被错误检测为伪造视频。

提出的方法

• 开发了一种视频损坏流程，应用五种不同的视频退化技术：比特率降低（1.0 Mbps 和 0.5 Mbps）、分辨率缩小（720p、480p、240p）、恒定速率因子（CRF）调节（30、40、50）以及数据马赛克。
• 独立或组合地将这些损坏应用于FaceForensics++数据集中真实和伪造的视频。
• 使用2020年Kaggle深度伪造检测挑战赛中表现最佳的模型——一个由7个EfficientNet-B7网络组成的集成模型——该模型在不同数据集上进行训练，以确保域外评估。
• 通过在受损视频上的分类准确率来评估模型性能，测量正确识别为伪造的深度伪造视频所占百分比。
• 开展消融研究，以隔离单个损坏（尤其是CRF50和数据马赛克）对检测置信度的影响。
• 以加蓬总统演讲视频作为案例研究，应用相同的损坏处理，评估模型在真实世界真实视频上的行为表现。

实验结果

研究问题

• RQ1 常见的视频画质退化（如低比特率、低分辨率、高CRF值和数据马赛克）如何影响最先进的深度伪造检测模型的性能？
• RQ2 与训练时的数据增强不一致的视频损坏在多大程度上会削弱模型的可靠性？
• RQ3 在应用类似真实世界环境的视频损坏后，真实视频是否可能被深度伪造检测模型错误分类为伪造视频？
• RQ4 在互联网基础设施薄弱且数字素养较低的地区，模型失效可能带来哪些社会政治风险？
• RQ5 像数据马赛克和高CRF值这类非自然损坏如何影响模型的置信度，以及与真实内容的人类感知相似度？

主要发现

• 该深度伪造检测模型在FaceForensics++数据集中未受损的深度伪造视频上达到了95.5%的准确率，证实了其强大的基线性能。
• 在将视频缩小至240p并应用CRF50后，模型在深度伪造视频上的准确率下降至58.6%，表明在画质退化条件下存在显著失效。
• 当与数据马赛克结合时，模型在受损深度伪造视频上的准确率进一步下降至69.0%，表明复杂损坏会加剧模型的脆弱性。
• 加蓬总统演讲视频——原本以98.8%的置信度被分类为真实——在经过240p + CRF50损坏后，被错误分类为伪造，置信度为56.5%。
• 即使视频在人类眼中仍保持语义可识别性，模型对真实视频的置信度在高CRF值和数据马赛克损坏下也显著下降。
• CRF50和数据马赛克等损坏缺乏标准数据增强中的直接对应物，导致性能下降最为严重，表明模型鲁棒性存在关键性缺口。