[论文解读] The 2021 Image Similarity Dataset and Challenge

Matthijs Douze, Giorgos Tolias+10 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Image and Video Retrieval Techniques参考文献 57被引用 4

一句话总结

本文介绍了DISC21基准——一个大规模、具有挑战性的图像相似度检测数据集，专为NeurIPS 2021图像相似度挑战赛而设计。该基准在包含100万张参考图像的语料库中，评估方法对经多样化变换（自动化、手工设计及学习型）处理的图像复制版本的检测能力，采用‘大海捞针’设置与微平均平均精度（micro-AP）评估指标，旨在推动真实场景下可扩展、鲁棒的图像复制检测技术发展，例如在虚假信息与内容完整性领域中的应用。

ABSTRACT

This paper introduces a new benchmark for large-scale image similarity detection. This benchmark is used for the Image Similarity Challenge at NeurIPS'21 (ISC2021). The goal is to determine whether a query image is a modified copy of any image in a reference corpus of size 1~million. The benchmark features a variety of image transformations such as automated transformations, hand-crafted image edits and machine-learning based manipulations. This mimics real-life cases appearing in social media, for example for integrity-related problems dealing with misinformation and objectionable content. The strength of the image manipulations, and therefore the difficulty of the benchmark, is calibrated according to the performance of a set of baseline approaches. Both the query and reference set contain a majority of "distractor" images that do not match, which corresponds to a real-life needle-in-haystack setting, and the evaluation metric reflects that. We expect the DISC21 benchmark to promote image copy detection as an important and challenging computer vision task and refresh the state of the art. Code and data are available at https://github.com/facebookresearch/isc2021

研究动机与目标

• 通过创建一个反映社交媒体与内容完整性真实世界挑战的现实基准，填补大规模对抗性图像复制检测的空白。
• 通过引入具有挑战性且可扩展的数据集及校准的变换方式，挑战图像复制检测已成定局的固有认知。
• 通过提供标准化、开放的基准，推动自监督学习与图像嵌入方法在复制检测中的研究。
• 在受控、可复现的条件下，实现对基于检索（Track 1）与基于描述符（Track 2）方法的评估。
• 通过严格的评分独立性规则，禁止对参考集进行过拟合，确保方法论的公平性。

提出的方法

• 数据集包含50,000张查询图像与100万张参考图像，变换包括缩放、裁剪、色彩偏移以及深度伪造风格编辑，且已针对基线性能进行校准。
• 变换的施加旨在生成真实、难以察觉的复制版本，模拟图像在各平台间的实际传播过程。
• 强制采用‘大海捞针’设置，即仅50%的查询图像存在匹配的参考图像，其余为干扰项。
• 评估采用微平均平均精度（micro-AP），以反映在匹配与非匹配图像对上的综合性能。
• 设立两个竞赛赛道：Track 1（提交CSV格式的（查询，参考，得分）三元组）与Track 2（提交HDF5格式的256维描述符，用于基于L2距离的匹配）。
• 参赛者需提前提交代码（以确保开源），并禁止使用查询扩展或邻域图技术，以防止过拟合。

实验结果

研究问题

• RQ1 当前的自监督学习与基于检索的方法在大规模、对抗性变换的图像复制检测任务中泛化能力如何？
• RQ2 现有图像嵌入模型在多样化、真实世界图像操作下仍具备多大程度的鲁棒性？
• RQ3 在标准数据增强策略下训练的方法，其性能在大规模、类真实世界复制检测基准上是否依然出色？
• RQ4 在相同评估条件下，基于检索与基于描述符的方法之间性能差距有多大？
• RQ5 如何设计一个既能防止过拟合，又具备挑战性且能代表真实世界内容完整性任务的基准？

主要发现

• DISC21基准包含50,000张查询图像与100万张参考图像，其中50%的查询图像存在匹配的参考图像，其余为干扰项。
• 数据集涵盖广泛的变换类型——几何变换、手工设计变换及学习型变换（如深度伪造），且已针对基线性能进行校准，以确保难度。
• 预计Track 1（基于检索）的结果将优于Track 2（基于描述符），因为后者对描述符表示施加了更严格的约束。
• 评估框架采用micro-AP，公平评估匹配与非匹配图像对的性能，反映真实世界部署需求。
• 提供了基线方法作为起点，代码与数据已公开发布于https://github.com/facebookresearch/isc2021，以支持可复现性与长期基准测试。
• 竞赛采用三阶段结构（开发、评估、验证），并包含代码验证，以确保可复现性与公平性。