[论文解读] Stochastic Attraction-Repulsion Embedding for Large Scale Image Localization

Liu Liu, Hongdong Li+1 more|arXiv (Cornell University)|Aug 27, 2018

Advanced Image and Video Retrieval Techniques参考文献 36被引用 4

一句话总结

本文提出了一种新型损失函数——随机吸引与排斥嵌入（SARE），通过将同一场景内的相似性与不同场景间的差异性建模为L2距离上的概率分布，从而提升大规模基于图像定位（IBL）任务中的图像表征学习性能。SARE通过最小化预测匹配度分布与真实匹配度分布之间的KL散度实现，取得了当前最优性能，包括在2018年Google地标检索挑战赛中获得第三名。

ABSTRACT

This paper tackles the problem of large-scale image-based localization (IBL) where the spatial location of a query image is determined by finding out the most similar reference images in a large database. For solving this problem, a critical task is to learn discriminative image representation that captures informative information relevant for localization. We propose a novel representation learning method having higher location-discriminating power. It provides the following contributions: 1) we represent a place (location) as a set of exemplar images depicting the same landmarks and aim to maximize similarities among intra-place images while minimizing similarities among inter-place images; 2) we model a similarity measure as a probability distribution on L_2-metric distances between intra-place and inter-place image representations; 3) we propose a new Stochastic Attraction and Repulsion Embedding (SARE) loss function minimizing the KL divergence between the learned and the actual probability distributions; 4) we give theoretical comparisons between SARE, triplet ranking and contrastive losses. It provides insights into why SARE is better by analyzing gradients. Our SARE loss is easy to implement and pluggable to any CNN. Experiments show that our proposed method improves the localization performance on standard benchmarks by a large margin. Demonstrating the broad applicability of our method, we obtained the third place out of 209 teams in the 2018 Google Landmark Retrieval Challenge. Our code and model are available at https://github.com/Liumouliu/deepIBL.

研究动机与目标

• 通过显式建模同一场景内的吸引与不同场景间的排斥，提升大规模基于图像定位（IBL）任务中图像表征的判别性学习能力。
• 解决现有方法依赖三元组排序或对比损失但缺乏系统性概率建模范式的问题。
• 开发一种可微分、即插即用的损失函数，无需修改网络结构即可增强基于CNN的特征嵌入在定位任务中的表现。
• 通过广泛的基准测试和真实世界挑战（包括Google地标检索挑战赛）验证SARE的优越性。
• 展示SARE训练模型在标准图像检索数据集上的泛化能力，且无需微调。

提出的方法

• 该方法将图像相似性建模为二分类任务：同一场景对为1（吸引），不同场景对为0（排斥）。
• 定义查询-正样本对与查询-负样本对之间特征嵌入的L2距离上的概率分布。
• SARE损失被表述为预测概率分布与真实匹配度分布之间的Kullback-Leibler（KL）散度。
• 该损失函数可兼容任意CNN架构，并可轻松集成到现有IBL流程中。
• 该框架支持每个查询对应多个负样本，从而实现多个不同场景之间的竞争。
• 该方法采用VGG16网络，结合NetVLAD池化层与L2归一化特征，随后计算L2距离并进行概率匹配。

实验结果

研究问题

• RQ1 我们如何在传统度量学习损失之外，进一步提升大规模图像定位任务中图像嵌入的判别能力？
• RQ2 将同一场景内吸引与不同场景间排斥的概率化表述，是否能带来优于标准对比损失或三元组损失的定位性能？
• RQ3 SARE损失在无需微调的情况下，是否能良好泛化到标准图像检索基准数据集？
• RQ4 与对比损失和三元组损失等现有度量学习目标相比，SARE在理论上具有哪些优势？
• RQ5 SARE是否能在真实世界挑战（如Google地标检索挑战赛）中达到当前最优性能？

主要发现

• SARE在2018年Google地标检索挑战赛中，从209支队伍中脱颖而出，获得第三名，展现出强大的真实世界性能。
• 在Sf-0基准上，SARE在完整图像上的平均平均精度（mAP）达到80.71%，在裁剪图像上达到81.07%，优于NetVLAD与CRN。
• 在Oxford5k与Paris6k数据集上，SARE分别取得71.66%与82.03%的mAP，超越了NetVLAD与CRN等基线方法。
• 该方法在图像检索任务中表现出更优的泛化能力，三组基准测试中mAP始终高于现成的NetVLAD与CRN。
• 定性分析表明，SARE更关注图像中的独特建筑细节，而NetVLAD则更强调局部特征。
• 理论分析显示，SARE的梯度动态优于对比损失与三元组损失，解释了其在实验中的优越表现。