[论文解读] X-Transfer: A Transfer Learning-Based Framework for GAN-Generated Fake Image Detection

Lei Zhang, Hao Chen+6 more|arXiv (Cornell University)|Oct 7, 2023

Digital Media Forensic Detection被引用 5

一句话总结

本文提出 X-Transfer，一种新颖的迁移学习框架，采用两个孪生神经网络，并通过交错并行的梯度传输机制，减轻知识遗忘，提升对 GAN 生成假图像的检测能力。通过结合 AUC 损失与交叉熵损失，该方法在检测 AUC 上达到 99.04%，相比基线迁移方法提升约 10%，并在人脸与非人脸数据集上展现出强大的泛化能力。

ABSTRACT

Generative adversarial networks (GANs) have remarkably advanced in diverse domains, especially image generation and editing. However, the misuse of GANs for generating deceptive images, such as face replacement, raises significant security concerns, which have gained widespread attention. Therefore, it is urgent to develop effective detection methods to distinguish between real and fake images. Current research centers around the application of transfer learning. Nevertheless, it encounters challenges such as knowledge forgetting from the original dataset and inadequate performance when dealing with imbalanced data during training. To alleviate this issue, this paper introduces a novel GAN-generated image detection algorithm called X-Transfer, which enhances transfer learning by utilizing two neural networks that employ interleaved parallel gradient transmission. In addition, we combine AUC loss and cross-entropy loss to improve the model's performance. We carry out comprehensive experiments on multiple facial image datasets. The results show that our model outperforms the general transferring approach, and the best metric achieves 99.04%, which is increased by approximately 10%. Furthermore, we demonstrate excellent performance on non-face datasets, validating its generality and broader application prospects.

研究动机与目标

• 解决在检测 GAN 生成假图像时迁移学习中知识遗忘的挑战。
• 提升在现实世界 GAN 检测场景中常见的类别不平衡数据集上的检测性能。
• 增强模型在多样化数据集（包括 LSUN-Cat、LSUN-Church 和 LSUN-Car 等非人脸图像）上的泛化能力。
• 开发一种鲁棒的检测框架，在迁移过程中保持源数据集和目标数据集上的高性能。
• 验证 AUC 损失在提升模型泛化能力和检测准确率方面的有效性，尤其是在数据不平衡条件下的表现。

提出的方法

• X-Transfer 采用双网络孪生架构：主网络用于目标数据集的适应，辅助网络则保留来自源数据集的知识。
• 通过在两个网络对应层之间交错并行地传输梯度，实现学习的平衡，减少灾难性遗忘。
• 框架整合了结合二元交叉熵与 WMW-AUC 损失的混合损失函数，以增强模型泛化能力和检测性能。
• 对 AUC 损失权重（β）进行超参数调优，以平衡 BCE 与 AUC 组件，发现在从 StyleGAN2 到 StarGAN 的迁移中 β = 0.6 为最优。
• 应用高斯模糊、JPEG 压缩和 CutMix 等数据增强技术，以提升迁移过程中的鲁棒性并减少过拟合。
• 在多个数据集（包括 CelebA、FFHQ、LSUN 和 GauGAN）上评估该方法，以衡量其在数据不平衡条件下的泛化能力与性能表现。

实验结果

研究问题

• RQ1 双网络迁移学习框架是否能减轻 GAN 生成图像检测迁移过程中的知识遗忘？
• RQ2 与标准交叉熵损失相比，AUC 损失的引入在类别不平衡数据集上如何提升检测性能？
• RQ3 X-Transfer 框架在 LSUN-Cat、LSUN-Church 和 LSUN-Car 等非人脸图像数据集上的泛化能力如何？
• RQ4 X-Transfer 框架中 AUC 损失组件的最优超参数设置是什么？
• RQ5 数据增强是否能在不降低目标数据集性能的前提下，提升迁移学习过程中的检测鲁棒性？

主要发现

• X-Transfer 在目标数据集上达到 99.04% 的 AUC，相比标准迁移学习方法提升约 10%。
• 该方法在源数据集（98.0% AUC）和目标数据集（98.7% AUC）上均保持高性能，表明在不同领域间实现了良好的性能平衡。
• 在非人脸数据集上，X-Transfer 在 LSUN-Cat 上取得 97.9% 的 AUC，在 LSUN-Church 上取得 98.1%，在 LSUN-Car 上取得 97.6%，证实其在人脸图像之外也具备强大的泛化能力。
• 使用 AUC 损失使在类别不平衡的 GauGAN 数据集上目标数据集的 AUC 提升 4%（从 87.2% 提升至 91.2%），表明其对类别不平衡具有更强的鲁棒性。
• 数据增强使源数据集 AUC 从 93.2% 提升至 98.8%，尽管目标数据集 AUC 略微下降（从 98.9% 降至 97.4%），表明存在性能权衡，但整体更有利于鲁棒性。
• 当从 StyleGAN2 迁移至 StarGAN 时，AUC 损失的最优超参数 β 确定为 0.6，此时检测性能达到最高。