[论文解读] What makes fake images detectable? Understanding properties that generalize

Lucy Chai, David Bau+2 more|arXiv (Cornell University)|Aug 24, 2020

Digital Media Forensic Detection参考文献 36被引用 13

一句话总结

本文研究了为何在生成质量极高的情况下，虚假图像仍能被深度学习模型检测到。通过使用感受野有限的基于图像块的分类器，研究识别出局部伪影——尤其是面部区域（如嘴部和眼部）的伪影——这些伪影在多种生成器、数据集和模型架构中具有普遍性。即使经过对抗性微调，生成器在特定图像块中仍留下可检测的痕迹，表明局部不一致性具有持久性。

ABSTRACT

The quality of image generation and manipulation is reaching impressive levels, making it increasingly difficult for a human to distinguish between what is real and what is fake. However, deep networks can still pick up on the subtle artifacts in these doctored images. We seek to understand what properties of fake images make them detectable and identify what generalizes across different model architectures, datasets, and variations in training. We use a patch-based classifier with limited receptive fields to visualize which regions of fake images are more easily detectable. We further show a technique to exaggerate these detectable properties and demonstrate that, even when the image generator is adversarially finetuned against a fake image classifier, it is still imperfect and leaves detectable artifacts in certain image patches. Code is available at https://chail.github.io/patch-forensics/.

研究动机与目标

• 识别使虚假图像检测器能够在不同生成器、数据集和架构之间泛化的图像属性。
• 分离出即使在全局图像结构变化时仍可检测的局部、图像块级伪影。
• 开发一种方法，用于可视化和放大虚假图像中的可检测特征，以增强可解释性。
• 评估对抗性微调后的生成器是否能完全消除可检测伪影。
• 通过标准化图像格式，确保泛化性能不源于预处理伪影。

提出的方法

• 训练一个感受野有限的全卷积、基于图像块的分类器，以关注局部图像纹理而非全局语义。
• 实施精细的预处理，以最小化真实图像与虚假图像之间的格式差异，避免引入虚假的检测信号。
• 使用可视化技术识别出对真实或虚假标签最具预测力的图像块。
• 通过操纵潜在表示来放大虚假图像中的可检测特征，以突出伪影。
• 对抗性微调一个生成对抗网络（GAN），生成可欺骗预训练虚假检测器的图像，随后重新评估检测性能。
• 在多个数据集（如 Face2Face、FaceSwap、Deepfakes、NeuralTextures）和模型架构（ResNet、Xception、MesoInception4）上测试泛化性能。

实验结果

研究问题

• RQ1 在多种图像生成模型和数据集中，哪些局部图像属性具有持续可检测性？
• RQ2 与全图分类器相比，基于图像块的分类器在未见的虚假图像源上泛化的程度如何？
• RQ3 对 GAN 进行对抗性微调是否能消除特定图像块中的可检测伪影？
• RQ4 在针对特定模型进行优化后，某些区域（如嘴部、眼部）的可检测伪影是否仍然存在？
• RQ5 预处理差异如何影响检测器的泛化性能，以及如何加以缓解？

主要发现

• 基于图像块的分类器在泛化到域外虚假图像方面优于全图分类器，尤其在面部操作任务中表现更优。
• 在 Face2Face 数据上训练的分类器对其他操作方法的泛化能力最强，而对 FaceSwap 的泛化仍具挑战性。
• 最具预测力的图像块集中于面部区域，如嘴部、眼部和鼻部，其中嘴部在基于 Face2Face 的检测中占主导地位。
• 即使经过对抗性微调，生成器在特定图像块中仍留下可检测的伪影，表明局部不一致性具有持久性。
• 通过潜在空间操作放大可检测特征，揭示了不同虚假图像类型中一致且局部化的模式。
• 标准化预处理可防止检测器学习格式差异，确保泛化基于真实的图像伪影。