[论文解读] Who's Afraid of Adversarial Queries? The Impact of Image Modifications on Content-based Image Retrieval

Zhuoran Liu, Zhengyu Zhao+1 more|arXiv (Cornell University)|Jan 29, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用 5

一句话总结

本文提出 PIRE（Perturbations for Image Retrieval Error），一种新颖的无监督神经扰动方法，可在无需标注数据的情况下生成对抗性查询，以破坏基于内容的图像检索（CBIR）系统。PIRE 有效干扰了基于神经、局部和全局特征的 CBIR 系统，在 Oxford5k 和 Paris6k 数据集上将 mAP 最多降低 80%，展示了在各类特征类型下均具有强大的对抗性影响。

ABSTRACT

An adversarial query is an image that has been modified to disrupt content-based image retrieval (CBIR) while appearing nearly untouched to the human eye. This paper presents an analysis of adversarial queries for CBIR based on neural, local, and global features. We introduce an innovative neural image perturbation approach, called Perturbations for Image Retrieval Error (PIRE), that is capable of blocking neural-feature-based CBIR. PIRE differs significantly from existing approaches that create images adversarial with respect to CNN classifiers because it is unsupervised, i.e., it needs no labelled data from the data set to which it is applied. Our experimental analysis demonstrates the surprising effectiveness of PIRE in blocking CBIR, and also covers aspects of PIRE that must be taken into account in practical settings, including saving images, image quality and leaking adversarial queries into the background collection. Our experiments also compare PIRE (a neural approach) with existing keypoint removal and injection approaches (which modify local features). Finally, we discuss the challenges that face multimedia researchers in the future study of adversarial queries.

研究动机与目标

• 探究在人类视觉上难以区分但无法检索到相关结果的对抗性查询在基于内容的图像检索（CBIR）中的可行性与影响。
• 开发一种无需目标数据集标注数据或相关性判断的对抗性查询生成方法，以解决 CBIR 中缺乏决策边界信息的问题。
• 评估神经扰动（PIRE）在基于神经、局部（SIFT）和全局（CEDD/GIST）特征的 CBIR 系统中的有效性。
• 分析实际挑战，如图像质量、视觉保真度，以及对抗性扰动渗入背景数据集的风险。
• 探讨对抗性查询的双重角色——作为需防范的威胁，以及作为多媒体系统中隐私保护的工具。

提出的方法

• PIRE 是一种无监督的神经扰动方法，通过优化像素级扰动来最小化检索性能，而无需使用目标数据集的标签或相关性注释。
• 该方法利用深度神经网络计算输入图像像素的梯度，实现有针对性的扰动，从而在保持视觉相似性的同时降低检索准确性。
• PIRE 使用对比损失目标进行训练，以促使扰动后的查询在 CBIR 系统中相对于原始查询排名显著下降。
• 该方法在多种 CBIR 系统上进行了评估：基于深度神经特征（如 VGG）、局部 SIFT 特征，以及全局 CEDD/GIST 特征的系统。
• PIRE 与基线方法（如高斯噪声和关键点移除/注入，KR&I）进行对比，以评估其相对有效性。
• 实验在标准基准 Oxford5k 和 Paris6k 上进行，采用整图查询和边界框查询，以评估不同查询类型下的鲁棒性。

实验结果

研究问题

• RQ1 是否可以在不依赖目标数据集的标注数据或相关性判断的情况下，为 CBIR 系统生成对抗性查询？
• RQ2 PIRE 在不同 CBIR 特征类型（神经、局部（SIFT）、全局（CEDD/GIST））下的检索性能退化效果如何？
• RQ3 对抗性查询的实际限制有哪些，包括视觉质量退化以及扰动传播至背景数据集的风险？
• RQ4 与传统方法（如关键点移除与注入，KR&I）和高斯噪声相比，PIRE 的有效性如何？
• RQ5 对抗性扰动在图像编辑或压缩后是否仍保持有效性？

主要发现

• PIRE 将 Oxford5k 上神经特征的 mAP 从 74.42 降低至 2.54（T=500），表明检索准确率大幅下降 80%，效果显著。
• 对于全局特征（CEDD/GIST），PIRE 将 Oxford5k 上的 mAP 从 19.29 降低至 14.71，Paris6k 上从 18.30 降低至 12.11，显示出强大的阻断能力。
• 与仅使 Oxford5k 上 mAP 降低 2.97 个点的高斯噪声相比，PIRE 的影响显著更严重，证实了其针对性的对抗性本质。
• 在图像编辑（如裁剪、缩放）后，PIRE 的有效性有所降低，表明对抗性查询在真实世界变换下可能失去部分威力。
• 关键点移除与注入（KR&I）方法在图像编辑下比 PIRE 更具鲁棒性，表明攻击强度与鲁棒性之间存在权衡。
• 研究发现，即使 CBIR 性能出现适度下降（如 mAP 下降 20-30%），也可能有效阻止恶意使用，凸显了对抗性查询在隐私保护方面的潜力。