[论文解读] Unsupervised Complementary-aware Multi-process Fusion for Visual Place Recognition

Stephen Hausler, Tobias Fischer+1 more|arXiv (Cornell University)|Dec 9, 2021

Advanced Image and Video Retrieval Techniques被引用 4

一句话总结

本文提出了一种无监督的、逐帧动态多过程融合（Dyn-MPF）方法，用于视觉位置识别，该方法通过感知混淆估计自动选择最优的VPR技术子集。通过在数据库匹配过程中最大化最高相似度得分与第二高相似度得分的比值，该方法在无需真实标签或人工调优的情况下，在多种数据集上实现了卓越的召回率，优于静态融合和基于最优选择的基线方法。

ABSTRACT

A recent approach to the Visual Place Recognition (VPR) problem has been to fuse the place recognition estimates of multiple complementary VPR techniques simultaneously. However, selecting the optimal set of techniques to use in a specific deployment environment a-priori is a difficult and unresolved challenge. Further, to the best of our knowledge, no method exists which can select a set of techniques on a frame-by-frame basis in response to image-to-image variations. In this work, we propose an unsupervised algorithm that finds the most robust set of VPR techniques to use in the current deployment environment, on a frame-by-frame basis. The selection of techniques is determined by an analysis of the similarity scores between the current query image and the collection of database images and does not require ground-truth information. We demonstrate our approach on a wide variety of datasets and VPR techniques and show that the proposed dynamic multi-process fusion (Dyn-MPF) has superior VPR performance compared to a variety of challenging competitive methods, some of which are given an unfair advantage through access to the ground-truth information.

研究动机与目标

• 为解决在不同部署环境中预先选择最优VPR技术的挑战。
• 实现在无需真实标签或事后环境知识的情况下，动态地、逐帧选择互补的VPR技术。
• 通过相似度得分比值分析最小化感知混淆，从而提升VPR性能。
• 开发一种可扩展的无监督融合框架，适用于任意数据集与VPR技术组合。

提出的方法

• 该方法利用查询图像与数据库图像之间最高相似度得分与第二高相似度得分的比值来估计感知混淆。
• 对于每个查询图像，评估所有可能的VPR技术子集，以识别能最大化该感知混淆比值的子集。
• 选择过程完全基于相似度得分的分布，无需真实标签或额外训练。
• 该算法在智能体穿越环境时，基于每帧图像动态更新所选技术集合。
• 其利用了先前工作中提出的一个指标，该指标表明该比值与识别精度具有相关性。
• 该方法为无监督且可泛化，适用于任意VPR技术与数据集的组合。

实验结果

研究问题

• RQ1 是否能够通过相似度得分比值有效估计感知混淆，从而预测鲁棒的VPR性能？
• RQ2 是否可能在无真实标签监督的情况下，逐帧动态选择一组互补的VPR技术？
• RQ3 基于感知混淆估计选择技术是否能相比静态融合或单一技术提升VPR召回率？
• RQ4 该方法是否能在具有不同外观和视角变化的多样化数据集上实现泛化？
• RQ5 与基于最优选择的组合相比，技术的动态选择在性能上表现如何？

主要发现

• 所提出的Dyn-MPF方法在VPR-Bench的全部12个数据集上均实现了最高的平均召回率，优于完整的多过程融合和分层多过程融合。
• 该方法显示出感知混淆得分与识别成功率之间存在明确的相关性，正确匹配的结果始终表现出更高的比值。
• DenseVLAD与NetVLAD在各数据集中被选中的频率最高，这与它们本身较高的个体召回率表现一致。
• 该算法在单个数据集中能够随时间动态调整技术选择，如查询图像的动态技术选择可视化所示。
• 在某些情况下，该方法甚至优于基于最优选择的基线，表明动态选择可超越静态的、人工调优的组合。
• 该方法在未访问真实标签数据或重新训练的情况下实现了卓越性能，证实了其无监督特性与泛化能力。