[论文解读] Robustness and Generalizability of Deepfake Detection: A Study with Diffusion Models

Haixu Song, Shi‐Yu Huang+2 more|arXiv (Cornell University)|Sep 5, 2023

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文介绍了DeepFakeFace（DFF），一个使用扩散模型和InsightFace生成的大规模合成名人面部数据集，用于研究深度伪造检测的鲁棒性和泛化能力。该研究提出了两种新颖的评估协议——跨生成器检测与退化图像分类，表明检测器性能在不同生成方法和图像扰动下存在显著差异，凸显了开发更具适应性的检测策略的必要性。

ABSTRACT

The rise of deepfake images, especially of well-known personalities, poses a serious threat to the dissemination of authentic information. To tackle this, we present a thorough investigation into how deepfakes are produced and how they can be identified. The cornerstone of our research is a rich collection of artificial celebrity faces, titled DeepFakeFace (DFF). We crafted the DFF dataset using advanced diffusion models and have shared it with the community through online platforms. This data serves as a robust foundation to train and test algorithms designed to spot deepfakes. We carried out a thorough review of the DFF dataset and suggest two evaluation methods to gauge the strength and adaptability of deepfake recognition tools. The first method tests whether an algorithm trained on one type of fake images can recognize those produced by other methods. The second evaluates the algorithm's performance with imperfect images, like those that are blurry, of low quality, or compressed. Given varied results across deepfake methods and image changes, our findings stress the need for better deepfake detectors. Our DFF dataset and tests aim to boost the development of more effective tools against deepfakes.

研究动机与目标

• 为应对深度伪造图像，尤其是名人相关图像所带来的日益增长的威胁，这些图像可能传播虚假信息并破坏人们对数字媒体的信任。
• 开发一个全面的基准测试体系，用于评估深度伪造检测模型，超越传统数据集的限制，重点关注鲁棒性与泛化能力。
• 利用最先进的扩散模型与人脸操作工具，创建一个多样化且高质量的合成名人面部数据集。
• 提出两种新的评估范式：跨生成器检测（在不同生成方法间的泛化能力）与退化图像分类（对图像质量退化下的鲁棒性评估）。
• 向公众开放DFF数据集与评估协议，以加速深度伪造检测领域的研究进展。

提出的方法

• 使用扩散模型（Stable Diffusion v1.5、修复生成）与InsightFace构建了DeepFakeFace（DFF）数据集，实现高保真度且身份保持的面部生成。
• 通过三种不同的生成方法共生成了90,000张合成名人面部图像：Stable Diffusion v1.5、Stable Diffusion 修复生成与InsightFace。
• 设计了跨生成器检测评估协议，以检验在一种生成方法上训练的检测器是否能泛化到其他方法。
• 实施了退化图像分类协议，用于评估检测器在常见真实世界图像退化条件下的表现：色彩对比度、饱和度、高斯模糊与像素化。
• 采用RECCE模型作为基线检测器，评估其在不同生成方法与扰动类型下的性能表现。
• 应用标准指标——准确率（Acc）、AUC与等错误率（EER）——对不同条件下的检测性能进行定量评估。

(a) Images from IMDB-WIKI dataset [ 26 ] .

实验结果

研究问题

• RQ1 在一种生成方法（如Stable Diffusion）上训练的深度伪造检测器，其对其他方法（如InsightFace）生成的深度伪造图像的检测效果如何？
• RQ2 常见的图像退化（如模糊、像素化与色彩变化）对深度伪造检测器性能有何影响？
• RQ3 不同基于扩散的生成技术所生成的深度伪造图像，其可检测性有何差异？
• RQ4 诸如高斯模糊或像素化等图像扰动，是否会降低或反而提升检测性能？
• RQ5 检测器的泛化能力在多大程度上取决于源生成方法与图像质量条件？

主要发现

• RECCE检测器在InsightFace生成的深度伪造图像上达到58.99%的准确率，在Stable Diffusion 修复生成上为51.35%，而在Stable Diffusion v1.5上仅为38.14%，表明不同生成方法间性能存在显著差异。
• 高斯模糊与色彩饱和度变化等图像退化对检测性能影响微弱，甚至在某些情况下略有提升，例如Stable Diffusion v1.5在高斯模糊下准确率提升至52.68%。
• 像素化显著降低了Stable Diffusion v1.5的性能（准确率降至42.49%），但对InsightFace的影响较小（准确率为54.59%），表明不同方法对退化具有特定敏感性。
• 色彩对比度调整对所有方法的检测性能均无明显影响，仅在准确率与EER上出现微小波动。
• 跨生成器检测任务表明，基于某一方法训练的检测器往往无法泛化到其他方法，凸显了对更鲁棒、更具泛化能力的检测架构的迫切需求。
• 退化图像分类任务显示，某些扰动（尤其是模糊）可能提升特定生成方法的可检测性，挑战了“退化始终损害检测性能”的既有假设。

(b) Deepfake images from FaceForensics++ [ 25 ] .