[论文解读] RetrievalGuard: Provably Robust 1-Nearest Neighbor Image Retrieval

Yihan Wu, Hongyang Zhang+1 more|arXiv (Cornell University)|Jun 17, 2022

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

RetrievalGuard 是首个可证明鲁棒的 1-最近邻（1-NN）图像检索框架，确保在 $ε$-有界 $σ$-范数对抗扰动下 Recall@1 保持不变。它通过在基础模型的嵌入空间应用高斯平滑，实现通过利普希茨有界平滑嵌入的可计算认证半径的认证鲁棒性。

ABSTRACT

Recent research works have shown that image retrieval models are vulnerable to adversarial attacks, where slightly modified test inputs could lead to problematic retrieval results. In this paper, we aim to design a provably robust image retrieval model which keeps the most important evaluation metric Recall@1 invariant to adversarial perturbation. We propose the first 1-nearest neighbor (NN) image retrieval algorithm, RetrievalGuard, which is provably robust against adversarial perturbations within an $\ell_2$ ball of calculable radius. The challenge is to design a provably robust algorithm that takes into consideration the 1-NN search and the high-dimensional nature of the embedding space. Algorithmically, given a base retrieval model and a query sample, we build a smoothed retrieval model by carefully analyzing the 1-NN search procedure in the high-dimensional embedding space. We show that the smoothed retrieval model has bounded Lipschitz constant and thus the retrieval score is invariant to $\ell_2$ adversarial perturbations. Experiments on image retrieval tasks validate the robustness of our RetrievalGuard method.

研究动机与目标

• 解决 1-NN 图像检索模型在对抗扰动下 Recall@1 下降的脆弱性问题。
• 开发一个可证明鲁棒的框架，确保在 $σ$-有界 $σ$-范数对抗攻击下 Recall@1 保持不变。
• 将原本专为分类设计的随机平滑方法扩展至检索任务中使用的高维嵌入空间。
• 提供一种与模型无关的认证防御机制，可计算 1-NN 检索的鲁棒性半径。
• 通过实验验证方法在不同嵌入维度和噪声水平下的鲁棒性-准确率权衡及可扩展性。

提出的方法

• 对基础图像检索模型的嵌入输出应用高斯平滑，通过在扰动输入上进行蒙特卡洛平均生成平滑模型 $g(x)$。
• 将平滑嵌入定义为 $g(x) = \mathbb{E}_{\xi \sim \mathcal{N}(0, \sigma^2 I)}[h(x + \xi)]$，其中 $h(\cdot)$ 为基础编码器。
• 证明平滑模型 $g$ 具有有界的利普希茨常数，确保小的 $σ$-范数扰动不会改变 1-NN 结果。
• 使用 $n = 100,000$ 次蒙特卡洛采样估计平滑嵌入，并计算每个输入的认证半径。
• 应用置信度阈值 $\alpha = 0.01$ 确定认证半径 $r(x; g)$，使得对于所有满足 $\|\delta\|_2 \leq r(x; g)$ 的 $\delta$，1-NN 结果均被保证不变。
• 在平滑前，使用超参数 $\beta = 1.2$、$\gamma = 0.2$ 和 $\sigma = 1$ 的边缘损失训练基础度量学习模型（DML/GDML）。

实验结果

研究问题

• RQ1 随机平滑能否适配至 1-NN 图像检索任务，其中输出为高维嵌入而非离散标签？
• RQ2 在 $σ$-范数扰动下，1-NN 检索的认证鲁棒性半径理论上可达到多大？
• RQ3 蒙特卡洛采样次数和置信度水平 $\alpha$ 如何影响认证鲁棒性保证的准确性和可靠性？
• RQ4 在不同高斯噪声水平 $\sigma$ 下，鲁棒性（认证半径）与检索准确率（Recall@1）之间的权衡如何？
• RQ5 嵌入维度 $k$ 如何影响认证鲁棒性与检索性能？

主要发现

• RetrievalGuard 实现了可证明鲁棒性：对于任意输入 $x$，所有满足 $\|\delta\|_2 \leq r(x; g)$ 的扰动 $\delta$ 均不会改变 1-NN 结果，其中 $r(x; g)$ 为可计算的认证半径。
• 当 $\sigma = 1$ 时，模型在 Online-Products 数据集上实现了高达 0.85 的认证半径，且随着 $r$ 增大，Recall@1(r) 仅轻微下降。
• 拒绝率（认证预测中的假阴性）从 $n=10,000$ 时的 14% 降低至 $n=100,000$ 时的 4%，表明估计稳定可靠。
• 将蒙特卡洛采样数从 1,000 增加到 100,000 显著提升了 Recall@1(r)，但进一步增加到 1,000,000 时收益递减。
• 模型在不同置信度水平 $\alpha$ 下均表现鲁棒，Recall@1(r) 在 $\alpha \in \{0.01, 0.05, 0.1\}$ 范围内保持稳定，表明对 $\alpha$ 敏感度较低。
• 更大的嵌入维度 $k$（如 $k=128$）可提升鲁棒性，因为高维空间中不同样本间的距离更大，从而提高 $\underline{d}(x; g)$。