[论文解读] On Detecting GANs and Retouching based Synthetic Alterations

Anubhav Jain, Richa Singh+1 more|arXiv (Cornell University)|Jan 26, 2019

Digital Media Forensic Detection参考文献 15被引用 5

一句话总结

本文提出了一种基于监督卷积神经网络（CNN）的方法，用于检测合成图像的修改，包括面部修饰和生成对抗网络（GAN）生成的图像。通过基于图像块的特征提取和残差网络，该方法在修饰图像上的准确率达到99.65%，在GAN生成图像上的准确率达到99.83%，显著优于先前的工作。

ABSTRACT

Digitally retouching images has become a popular trend, with people posting altered images on social media and even magazines posting flawless facial images of celebrities. Further, with advancements in Generative Adversarial Networks (GANs), now changing attributes and retouching have become very easy. Such synthetic alterations have adverse effect on face recognition algorithms. While researchers have proposed to detect image tampering, detecting GANs generated images has still not been explored. This paper proposes a supervised deep learning algorithm using Convolutional Neural Networks (CNNs) to detect synthetically altered images. The algorithm yields an accuracy of 99.65% on detecting retouching on the ND-IIITD dataset. It outperforms the previous state of the art which reported an accuracy of 87% on the database. For distinguishing between real images and images generated using GANs, the proposed algorithm yields an accuracy of 99.83%.

研究动机与目标

• 开发一种鲁棒的深度学习框架，用于检测面部图像中的合成修改，包括修饰和GAN生成内容。
• 应对日益严峻的视觉上难以察觉的图像篡改挑战，这些篡改会损害人脸识别系统并影响社会福祉。
• 通过利用基于图像块的CNN与残差连接，改进现有检测方法，以增强特征学习能力。
• 在真实世界中的修饰图像（ND-IIITD数据集）和GAN生成图像（StarGAN）上评估性能，包括在有损压缩条件下的表现。
• 确保模型在不同图像来源和压缩伪影下具有泛化能力，而不会过度拟合特定压缩模式。

提出的方法

• 从输入图像中提取大小为(64,64,3)或(128,128,3)的非重叠图像块，以实现局部特征学习。
• 采用受ResNet启发的残差CNN架构，以捕捉分层的局部与全局特征，改善梯度流动并提升性能。
• 通过阈值化或支持向量机（SVM）进行图像块级别的分类，以检测表明存在修饰或GAN生成的异常。
• 通过多数投票或SVM聚合图像块预测结果，实现图像级别的分类决策。
• 在PNG格式图像上微调模型，以验证其是否学习了与压缩相关的特定伪影，从而确保对压缩格式的泛化能力。
• 开展消融研究，验证残差连接的必要性，结果表明移除后性能显著下降。

实验结果

研究问题

• RQ1 深度CNN能否在ND-IIITD数据集的图像中以高准确率有效检测面部修饰？
• RQ2 所提出的方法在GAN生成图像（特别是StarGAN生成图像）上的泛化能力如何？
• RQ3 在有损JPEG压缩条件下（常见于现实场景），模型是否能保持高检测准确率？
• RQ4 残差连接在提升模型对合成修改检测的鲁棒性和性能方面起到了多大作用？
• RQ5 模型能否在不过度拟合图像压缩伪影的情况下，区分真实图像与合成图像？

主要发现

• 所提方法在ND-IIITD数据集上的修饰面部图像检测准确率达到99.65%，显著优于先前最先进方法（87%）。
• 对于StarGAN生成的GAN图像，使用阈值化方法的准确率为99.83%，使用SVM的准确率为99.73%，表明其具有强大的泛化能力。
• 在JPEG压缩图像（质量因子50）上，使用SVM的准确率为96.33%，而阈值化方法下降至88.89%，表明SVM在压缩条件下更具优势。
• 消融研究证实，若移除残差连接，图像块级别准确率将降至97.83%，图像级别准确率将降至96.80%（使用阈值化），凸显其关键作用。
• 在PNG图像上微调后，模型未学习到与压缩相关的特定模式，因为其在压缩格式上的性能仍保持较高水平。
• 模型在不同探测集之间具有良好的泛化能力，当在某一探测集上训练并在其他探测集上测试时，使用阈值化的测试准确率为99.73%，使用SVM的测试准确率为99.91%，表明对探测集间差异具有鲁棒性。