[论文解读] PatchCraft: Exploring Texture Patch for Efficient AI-generated Image Detection

Nan Zhong, Yiran Xu+3 more|arXiv (Cornell University)|Nov 21, 2023

Radiomics and Machine Learning in Medical Imaging被引用 6

一句话总结

本文提出 PatchCraft，一种通用的AI生成图像检测器，通过利用丰富纹理与贫乏纹理区域之间的像素间相关性差异，检测跨多种生成模型的虚假图像。通过从纹理对比度区域重建图像并提取通用指纹特征，其在包含16种生成模型的新基准上实现了89.31%的平均准确率，优于当前最先进方法约5%。

ABSTRACT

Recent generative models show impressive performance in generating photographic images. Humans can hardly distinguish such incredibly realistic-looking AI-generated images from real ones. AI-generated images may lead to ubiquitous disinformation dissemination. Therefore, it is of utmost urgency to develop a detector to identify AI generated images. Most existing detectors suffer from sharp performance drops over unseen generative models. In this paper, we propose a novel AI-generated image detector capable of identifying fake images created by a wide range of generative models. We observe that the texture patches of images tend to reveal more traces left by generative models compared to the global semantic information of the images. A novel Smash&Reconstruction preprocessing is proposed to erase the global semantic information and enhance texture patches. Furthermore, pixels in rich texture regions exhibit more significant fluctuations than those in poor texture regions. Synthesizing realistic rich texture regions proves to be more challenging for existing generative models. Based on this principle, we leverage the inter-pixel correlation contrast between rich and poor texture regions within an image to further boost the detection performance. In addition, we build a comprehensive AI-generated image detection benchmark, which includes 17 kinds of prevalent generative models, to evaluate the effectiveness of existing baselines and our approach. Our benchmark provides a leaderboard for follow-up studies. Extensive experimental results show that our approach outperforms state-of-the-art baselines by a significant margin. Our project: https://fdmas.github.io/AIGCDetect

研究动机与目标

• 应对日益逼真的AI生成图像引发虚假信息传播的紧迫需求，开发鲁棒且可泛化的检测器。
• 克服现有检测器在检测未见过的生成模型图像时性能急剧下降的局限性。
• 基于纹理区域复杂度的内在差异，开发一种在多种生成模型间保持一致的通用指纹特征。
• 建立一个全面的基准，以公平评估和比较16种主流生成模型及商业API上的AI生成图像检测器。
• 证明丰富纹理与贫乏纹理区域之间的像素间相关性差异，可作为可靠且模型无关的虚假图像检测信号。

提出的方法

• 将输入图像划分为空间块，分别重建仅含丰富纹理块和仅含贫乏纹理块的两个版本，以隔离基于纹理的特征。
• 应用 Smash&Reconstruction (S&R) 过程擦除语义内容，确保检测器仅依赖低级纹理统计特征，而非高层语义信息。
• 利用高通滤波器提取丰富纹理与贫乏纹理区域之间的像素间相关性差异特征，以检测人工纹理模式。
• 利用生成模型从随机噪声中合成高熵丰富纹理区域的固有困难，作为检测的通用指纹。
• 在 ProGAN 生成的虚假图像上训练单一分类器，并在未见过的模型（如 Stable Diffusion、BigGAN、Midjourney 和 DALL-E 2）上评估泛化能力。
• 在块边界处应用高通滤波，以增强对人工纹理变化的检测能力，并减少块效应伪影。

实验结果

研究问题

• RQ1 丰富纹理与贫乏纹理区域之间的像素间相关性差异，能否作为跨多种生成模型检测AI生成图像的通用指纹？
• RQ2 当在未见过的生成模型（如 Midjourney 和 Stable Diffusion）上测试时，所提方法在零样本泛化下的表现如何？
• RQ3 通过块重建去除语义信息在多大程度上提升了检测器的鲁棒性与泛化能力？
• RQ4 Smash&Reconstruction、边界滤波和对比特征提取各组件对整体检测准确率的贡献如何？
• RQ5 是否可通过包含16种生成模型和多个检测器的统一基准，实现对AI生成图像检测方法的公平且全面的评估？

主要发现

• 所提出的 PatchCraft 检测器在16种不同生成模型上实现了89.31%的平均检测准确率，平均优于当前最先进基线方法约5个百分点。
• 消融实验表明，若移除 Smash&Reconstruction (S&R) 组件，准确率将降至73.34%，表明语义抑制对泛化至关重要。
• 边界感知的高通滤波组件贡献显著，移除后准确率下降3.43%，凸显其在检测块级伪影中的作用。
• 即使不使用对比特征提取（w/o Contrast），其性能仍优于使用空间输入（w/o S&R），证实纹理对比度比原始图像特征更具有效性。
• 该检测器对未见过的模型泛化效果良好：在 SDv1.5 上达到94.57%准确率，在 DALL-E 2 上达到96.75%，尽管仅在 ProGAN 数据上进行训练。
• 该综合基准包含16种生成模型和8个检测器，并提供公开的排行榜，以支持未来研究。