[论文解读] NetVLAD: CNN architecture for weakly supervised place recognition

Relja Arandjelović, Petr Gronát+3 more|arXiv (Cornell University)|Nov 23, 2015

Advanced Image and Video Retrieval Techniques参考文献 126被引用 1,598

一句话总结

本文提出 NetVLAD，一种具有广义 VLAD 池化层的可学习 CNN 架构，用于弱监督视觉位置识别。在 Google Street View Time Machine 数据集上使用新型排序损失端到端训练，NetVLAD 在位置识别和图像检索基准测试中达到最先进性能，显著优于现成的 CNN 模型和先前的紧凑描述符，尤其在降低维度时表现更优（例如，128D NetVLAD 的性能相当于 512D 最大池化）。

ABSTRACT

We tackle the problem of large scale visual place recognition, where the task is to quickly and accurately recognize the location of a given query photograph. We present the following three principal contributions. First, we develop a convolutional neural network (CNN) architecture that is trainable in an end-to-end manner directly for the place recognition task. The main component of this architecture, NetVLAD, is a new generalized VLAD layer, inspired by the "Vector of Locally Aggregated Descriptors" image representation commonly used in image retrieval. The layer is readily pluggable into any CNN architecture and amenable to training via backpropagation. Second, we develop a training procedure, based on a new weakly supervised ranking loss, to learn parameters of the architecture in an end-to-end manner from images depicting the same places over time downloaded from Google Street View Time Machine. Finally, we show that the proposed architecture significantly outperforms non-learnt image representations and off-the-shelf CNN descriptors on two challenging place recognition benchmarks, and improves over current state-of-the-art compact image representations on standard image retrieval benchmarks.

研究动机与目标

• 开发一种专为视觉位置识别训练的 CNN 架构，而非依赖现成的特征。
• 通过时间流逝的街景图像实现网络的端到端训练，利用弱监督信号。
• 创建一种紧凑、高效的描述符，能够在视角、光照和季节变化下良好泛化。
• 在大规模位置识别和标准图像检索基准测试中提升性能。

提出的方法

• 提出 NetVLAD，一种可微分、可学习的广义 VLAD 层，将中级卷积特征（例如，来自 conv5）聚合为紧凑描述符。
• 使用弱监督排序损失，在 Google Street View Time Machine 上从同一地点不同时段拍摄的全景图对上进行训练。
• 应用主成分分析（PCA）和白化处理，压缩 NetVLAD 输出，以实现高效索引和检索。
• 端到端训练网络，允许通过包含 NetVLAD 层在内的整个架构进行反向传播。
• 采用对比损失公式，促使正样本对（同一地点）具有相似嵌入，负样本对则不相似。
• 使用数据增强和采样策略，提升泛化能力，避免对特定场景过拟合。

实验结果

研究问题

• RQ1 在端到端训练下，专为位置识别设计的 CNN 架构是否能优于现成的 CNN 特征？
• RQ2 来自时间流逝街景图像的弱监督是否能有效训练位置识别模型？
• RQ3 像 NetVLAD 这样的可学习池化层是否能在视觉位置识别中优于标准池化方法（如最大池化、平均池化）？
• RQ4 与现有方法相比，NetVLAD 的性能在描述符维度变化时如何变化？
• RQ5 所提出的方法是否能泛化到超越位置识别的标准化图像检索基准？

主要发现

• 使用 fV LAD 在 Pitts30k 验证集上，NetVLAD 实现 80.5% 的 recall@1，显著优于现成的 AlexNet（33.5%），甚至超过高维下的最大池化方法。
• 128-D NetVLAD 在 24/7 东京基准测试中实现 42.9% 的 recall@1，性能与 512-D 最大池化相当，但体积小四倍。
• NetVLAD + 白化处理在降至 128D 时，24/7 东京数据集的 recall@1 达到 60%，优于同维度下的最大池化方法。
• 在标准图像检索基准测试中，256-D 的 NetVLAD 表示在 Oxford5k 上实现 mAP 63.5%，Paris6k 上为 73.5%，Holidays 上为 79.9%，创下紧凑描述符的新最先进水平。
• 若不使用 Time Machine 数据进行训练，Pitts30k 上的性能降至 38.7% recall@1，表明弱监督时间数据在训练中的关键作用。
• 定性分析表明，NetVLAD 学会聚焦于具有区分性的场景元素，如建筑立面和天际线，同时抑制非区分性元素如行人和车辆。