[论文解读] On the generalization of GAN image forensics

Xinsheng Xuan, Bo Peng+2 more|arXiv (Cornell University)|Feb 27, 2019

Digital Media Forensic Detection参考文献 19被引用 9

一句话总结

本文提出了一种新颖的图像预处理策略——在训练过程中应用高斯模糊或噪声，以提升生成对抗网络图像取证模型的泛化能力。通过抑制不稳定的低层次噪声伪影，模型被迫学习更具内在性的特征，从而在未见过的生成对抗网络类型上提升检测性能，尽管由于固有的分布偏移，性能提升有限，但在未见过的虚假图像数据集上仍实现了10%的TNR提升。

ABSTRACT

Recently the GAN generated face images are more and more realistic with high-quality, even hard for human eyes to detect. On the other hand, the forensics community keeps on developing methods to detect these generated fake images and try to guarantee the credibility of visual contents. Although researchers have developed some methods to detect generated images, few of them explore the important problem of generalization ability of forensics model. As new types of GANs are emerging fast, the generalization ability of forensics models to detect new types of GAN images is absolutely an essential research topic. In this paper, we explore this problem and propose to use preprocessed images to train a forensic CNN model. By applying similar image level preprocessing to both real and fake training images, the forensics model is forced to learn more intrinsic features to classify the generated and real face images. Our experimental results also prove the effectiveness of the proposed method.

研究动机与目标

• 为解决现有生成对抗网络图像取证模型在未见生成对抗网络架构上泛化能力严重不足的问题。
• 探究图像预处理是否能增强取证卷积神经网络检测多样化、此前未见过的生成对抗网络生成人脸图像的能力。
• 将关注点从利用低层次噪声伪影转向学习更鲁棒的内在图像特征，以提升跨模型检测性能。
• 开发一种在训练过程中无需目标域虚假样本的方法，以提升实际应用中的可行性。

提出的方法

• 在训练期间应用高斯模糊（GB）或高斯噪声（GN）作为预处理，以干扰生成对抗网络生成图像中的不稳定低层次噪声线索。
• 在真实图像和预处理后的虚假图像上联合训练取证卷积神经网络，迫使模型学习更高层次的内在特征，而非特定模型的伪影。
• 使用标准交叉熵损失与分类头，端到端地在预处理数据上训练模型。
• 在不同生成对抗网络类型（如PG-GAN、WGAN-GP、StyleGAN）的测试集上评估模型，以衡量零样本泛化能力。
• 与基线模型（M）进行对比，该模型不使用任何预处理，以隔离预处理对泛化性能的影响。
• 使用二维特征空间可视化，展示不同生成对抗网络生成的虚假图像类型之间的分布偏移。

实验结果

研究问题

• RQ1 在训练期间进行图像预处理是否能提升生成对抗网络图像取证模型对未见生成对抗网络架构的泛化能力？
• RQ2 抑制低层次噪声伪影是否能提升对先前未见过的虚假图像类型的检测性能？
• RQ3 与依赖低层次噪声模式的基线模型相比，所提方法在零样本检测性能上表现如何？
• RQ4 预处理在多大程度上能提升域外生成对抗网络生成图像上的TNR和ACC？

主要发现

• 所提出的预处理方法（GB或GN）在未见生成对抗网络类型上提升了泛化性能，与基线模型相比，在WGAN-GP和StyleGAN测试集上TNR提高了10%。
• 经过预处理的模型在域内测试集上保持了超过95%的高准确率，表明在已见数据上性能未下降。
• 基线模型（M）在域内数据上准确率超过95%，但在未见生成对抗网络类型上显著下降（TNR降至34.12%），凸显其泛化能力差。
• 泛化性能的提升在不同测试集上保持一致：WGAN-GP和StyleGAN上TNR提升约10%，同时观察到ACC的提升。
• 结果表明，抑制不稳定的低层次噪声可迫使模型学习更鲁棒的内在特征，从而在多样化生成对抗网络架构间实现更好的泛化。
• 尽管性能有所提升，整体性能增益仍有限，表明生成对抗网络类型间的分布偏移仍是泛化的主要挑战。