[论文解读] T-GD: Transferable GAN-generated Images Detection Framework

Hyeonseong Jeon, Young Oh Bang+2 more|arXiv (Cornell University)|Aug 10, 2020

Digital Media Forensic Detection被引用 6

一句话总结

T-GD 提出了一种基于教师-学生蒸馏的自训练框架，以提升生成对抗网络（GAN）生成图像检测中的可迁移性，结合 $L^2$-起始点正则化与类内 Cutmix 数据增强。该方法在源数据集和目标数据集上均实现了最先进性能——在 PGGAN 上 AUROC 提升 2.40%，在 StarGAN 上提升 10.04%，且无需依赖 GAN 元数据或大量数据。

ABSTRACT

Recent advancements in Generative Adversarial Networks (GANs) enable the generation of highly realistic images, raising concerns about their misuse for malicious purposes. Detecting these GAN-generated images (GAN-images) becomes increasingly challenging due to the significant reduction of underlying artifacts and specific patterns. The absence of such traces can hinder detection algorithms from identifying GAN-images and transferring knowledge to identify other types of GAN-images as well. In this work, we present the Transferable GAN-images Detection framework T-GD, a robust transferable framework for an effective detection of GAN-images. T-GD is composed of a teacher and a student model that can iteratively teach and evaluate each other to improve the detection performance. First, we train the teacher model on the source dataset and use it as a starting point for learning the target dataset. To train the student model, we inject noise by mixing up the source and target datasets, while constraining the weight variation to preserve the starting point. Our approach is a self-training method, but distinguishes itself from prior approaches by focusing on improving the transferability of GAN-image detection. T-GD achieves high performance on the source dataset by overcoming catastrophic forgetting and effectively detecting state-of-the-art GAN-images with only a small volume of data without any metadata information.

研究动机与目标

• 解决将 GAN 图像检测模型应用于未见 GAN 架构时可迁移性差的挑战。
• 通过保留源数据集的知识，缓解迁移学习过程中的灾难性遗忘。
• 在不使用元数据或伪影的情况下，提升低数据量场景及未见 GAN 模型上的检测性能。
• 开发一种自训练框架，通过教师-学生交互动态控制正则化强度。
• 在多种 GAN 模型（如 StyleGAN、PGGAN 和 StarGAN）上展示鲁棒性与泛化能力。

提出的方法

• 采用教师-学生蒸馏框架，其中在源数据集上预训练的教师模型在目标数据集训练过程中指导学生模型。
• 应用 $L^2$-起始点（SPAR）正则化，约束学生模型的权重更新，以保留来自源数据集的预训练知识。
• 引入类内 Cutmix——一种将同类别（真实或 GAN 生成）图像块混合的数据增强技术，以提升二分类训练的稳定性。
• 结合高斯模糊与 JPEG 压缩作为额外增强手段，以提升模型鲁棒性并减少过拟合。
• 整合权重标准化（WS）、组归一化（GN）以及低学习率/动量设置，以改善迁移学习过程中的优化稳定性。
• 使用自训练机制迭代优化学生模型，教师模型根据性能反馈动态调整正则化强度。

实验结果

研究问题

• RQ1 基于教师-学生蒸馏的自训练框架是否能提升在多种 GAN 架构上的 GAN 图像检测可迁移性？
• RQ2 类内 Cutmix 与标准的类间 Cutmix 相比，在二分类 GAN 图像检测中是否更具训练稳定性？
• RQ3 在无元数据条件下，$L^2$-SP 正则化在多大程度上可防止迁移学习中的灾难性遗忘？
• RQ4 结合多种增强技术（JPEG、模糊、Cutmix）是否能减少过拟合并提升低数据量目标数据集上的泛化能力？
• RQ5 仅使用少量目标数据且不依赖 GAN 特定元数据，是否能显著提升迁移学习性能？

主要发现

• 与基线相比，T-GD 在使用自训练时，PGGAN 目标数据集上的 AUROC 提升了 2.40%（从 92.54% 提升至 94.94%）。
• 在 StarGAN 源数据集上，通过数据增强，AUROC 从 85.04% 提升至 95.08%，表明有效缓解了过拟合。
• 类内 Cutmix 相较于标准 Cutmix，在源数据集（StarGAN）和目标数据集（PGGAN）上均降低了验证损失并提升了性能。
• 当在 PGGAN 上预训练后，模型在源数据集（StarGAN）上达到 99.15% AUROC，在目标数据集（StyleGAN2）上达到 99.38% AUROC，展现出强大的可迁移性。
• T-GD 在无需任何 GAN 模型元数据的情况下，优于现有方法在源和目标数据集上的表现，证明了其泛化能力。
• PGGAN 数据集作为迁移学习的源数据集表现最优，在所有评估的目标 GAN 模型上均取得了最高性能。