[论文解读] Will Large-scale Generative Models Corrupt Future Datasets?

Ryuichiro Hataya, Han Bao+1 more|arXiv (Cornell University)|Nov 15, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文通过使用StableDiffusion生成图像来模拟污染，研究大规模生成图像对计算机视觉未来数据集的影响。实验表明，生成图像在图像分类、图像字幕和图像生成任务中均会降低下游模型性能，当ImageNet数据集受到高比例污染时，性能最高下降5.9%，表明若未进行过滤，生成模型的输出可能损害数据集质量与模型鲁棒性。

ABSTRACT

Recently proposed large-scale text-to-image generative models such as DALL$\cdot$E 2, Midjourney, and StableDiffusion can generate high-quality and realistic images from users' prompts. Not limited to the research community, ordinary Internet users enjoy these generative models, and consequently, a tremendous amount of generated images have been shared on the Internet. Meanwhile, today's success of deep learning in the computer vision field owes a lot to images collected from the Internet. These trends lead us to a research question: " extbf{will such generated images impact the quality of future datasets and the performance of computer vision models positively or negatively?}" This paper empirically answers this question by simulating contamination. Namely, we generate ImageNet-scale and COCO-scale datasets using a state-of-the-art generative model and evaluate models trained with "contaminated" datasets on various tasks, including image classification and image generation. Throughout experiments, we conclude that generated images negatively affect downstream performance, while the significance depends on tasks and the amount of generated images. The generated datasets and the codes for experiments will be publicly released for future research. Generated datasets and source codes are available from \url{https://github.com/moskomule/dataset-contamination}.

研究动机与目标

• 探究大规模生成图像是否可能污染从互联网收集的未来数据集，从而威胁计算机视觉模型的质量。
• 通过使用StableDiffusion生成的高保真图像替换ImageNet和COCO中的真实图像，模拟数据集污染。
• 评估在这些污染数据集上训练的模型在多种视觉任务中的下游性能表现。
• 分析性能下降的根本原因，并为研究人员和模型发布者提出缓解策略。
• 倡导在生成模型中引入水印技术，并在数据集筛选中实施过滤，以维护研究的完整性。

提出的方法

• 使用StableDiffusion生成三百万张图像，以ImageNet类别和COCO字幕为条件，模拟大规模数据集污染。
• 通过在不同比例（20%、40%、80%）下用生成图像替换真实图像，创建ImageNet和COCO的污染版本。
• 从零开始在污染数据集上训练用于图像分类、图像字幕和图像生成任务的视觉模型。
• 使用标准基准评估模型性能：ImageNet上的top-1准确率，COCO字幕任务上的BLEU和CIDEr得分，以及图像生成任务上的FID。
• 对MAE特征应用线性探测，以评估在污染条件下的表征质量，衡量泛化能力和分布外（OOD）鲁棒性。
• 分析模型对分布外数据的鲁棒性，并使用标准方法评估生成图像的可检测性。

Figure 1: Schematic view of the problem. Some large-scale generative models are public, and many users are playing with them to share generated images on the Internet (top). Dataset collection heavily relies on images on the Internet, which may be contaminated by generated images (bottom). This pape

实验结果

研究问题

• RQ1 ImageNet和COCO数据集被生成图像污染后，对下游图像分类性能有何影响？
• RQ2 生成图像在多大程度上会降低图像字幕和图像生成任务的性能？
• RQ3 尽管生成图像具有高视觉保真度且在合成评估中覆盖充分，为何仍会导致模型性能下降？
• RQ4 自监督学习方法（如MAE）能否缓解污染数据集的负面影响？
• RQ5 现代生成图像的可检测性如何？这对数据集筛选和模型公平性有何影响？

主要发现

• 当80%的训练数据被替换为生成图像时，ImageNet上的图像分类准确率下降至42.5%，较基线下降1.4%。
• 性能下降在图像生成任务中最为严重，当使用80%生成图像训练时，FID得分上升了20.5分。
• 对MAE特征进行线性探测表明，自监督表征学习可部分缓解污染影响，在特征被污染时仍能保持较高准确率。
• 在污染数据上训练的模型对分布外输入的鲁棒性降低，表明其泛化能力受损。
• 简单的检测方法无法有效识别来自SOTA模型（如StableDiffusion）的生成图像，凸显了对先进检测技术的需求。
• 研究发现，生成模型捕捉的真实数据分布模式少于真实数据，这虽不影响视觉质量，但会导致性能下降。

Figure 2: Randomly selected examples from generated datasets, namely, SD-ImageNet (left) and SD-COCO (right). Images are at a single glance high quality and fidelity to prompts, i.e . , category names and captions, while details are unnatural, e.g . , a two-nose elephant.