[论文解读] TransVPR: Transformer-based place recognition with multi-level attention aggregation

Ruotong Wang, Yanqing Shen+3 more|arXiv (Cornell University)|Jan 6, 2022

Robotics and Sensor-Based Localization被引用 5

一句话总结

TransVPR 提出了一种基于视觉 Transformer 的视觉位置识别模型，通过利用多层级自注意力图动态聚合与任务相关的特征，将其组合以生成鲁棒的全局表征，并使用过滤后的输出 token 作为关键 patch 描述符进行空间重排序。该方法在保持低计算成本的同时实现了端到端训练，仅依赖图像级监督，且在召回率@1 上相比最佳基线方法实现了 5.8% 的绝对提升，达到当前最先进性能。

ABSTRACT

Visual place recognition is a challenging task for applications such as autonomous driving navigation and mobile robot localization. Distracting elements presenting in complex scenes often lead to deviations in the perception of visual place. To address this problem, it is crucial to integrate information from only task-relevant regions into image representations. In this paper, we introduce a novel holistic place recognition model, TransVPR, based on vision Transformers. It benefits from the desirable property of the self-attention operation in Transformers which can naturally aggregate task-relevant features. Attentions from multiple levels of the Transformer, which focus on different regions of interest, are further combined to generate a global image representation. In addition, the output tokens from Transformer layers filtered by the fused attention mask are considered as key-patch descriptors, which are used to perform spatial matching to re-rank the candidates retrieved by the global image features. The whole model allows end-to-end training with a single objective and image-level supervision. TransVPR achieves state-of-the-art performance on several real-world benchmarks while maintaining low computational time and storage requirements.

研究动机与目标

• 为解决在复杂场景中因干扰元素导致性能下降的视觉位置识别挑战。
• 通过在 Transformer 中使用自注意力机制选择性聚合与任务相关的区域，提升特征鲁棒性。
• 在统一的、可端到端训练的架构中联合学习全局图像表征与 patch 级描述符。
• 通过多层级注意力聚合与空间重排序，在真实世界基准上实现高精度与高效率。
• 通过仅依赖图像级监督，消除对弱监督或关键点标注的需求。

提出的方法

• 该模型使用视觉 Transformer 编码器从输入图像中提取分层特征。
• 将来自不同 Transformer 层的多层级自注意力图进行融合，生成强调语义有意义区域的全局图像表征。
• 通过融合后的注意力掩码对每层 Transformer 的输出 token 进行过滤，生成用于空间匹配的关键 patch 描述符。
• 利用融合后的注意力图对 patch token 进行加权求和，计算全局特征，从而增强对相关区域的关注。
• 在基于 RANSAC 的空间匹配步骤中使用 patch 级描述符对全局特征检索的候选结果进行重排序。
• 所有组件均通过仅使用图像级监督的单一对比损失目标进行端到端训练。

实验结果

研究问题

• RQ1 在复杂且具有干扰性的视觉条件下，视觉 Transformer 中的多层级注意力聚合是否能提升视觉位置识别的鲁棒性？
• RQ2 融合来自不同 Transformer 层的注意力图如何影响全局图像表征与 patch 描述符的质量？
• RQ3 从多个 Transformer 层过滤得到的输出 token 是否能作为有效的 key-patch 描述符，用于空间重排序，而无需显式的关键点监督？
• RQ4 所提出的端到端、仅依赖图像级监督的方法是否优于依赖弱监督或分阶段训练的现有方法？
• RQ5 使用单个注意力图与融合后的多层级注意力图相比，对识别准确率与泛化能力有何影响？

主要发现

• 在基准数据集上，TransVPR 相比最佳基线方法 DELG，实现了 Recall@1 提升 5.8% 的绝对提升。
• 该模型在多个真实世界基准上优于当前最先进方法，包括 Patch-NetVLAD、NetVLAD 和 DELG。
• 融合来自低、中、高层级特征的注意力图，相比使用单个或单一层次的注意力图，能实现更优的全局表征学习。
• 从任意 Transformer 层（除最后一层外）提取的 patch 描述符表现相似，且显著优于第一层的原始 patch 描述符。
• 当使用最后一层 Transformer 的描述符时，性能略有下降，表明过度的上下文聚合可能降低局部性。
• 通过 key-patch 描述符进行重排序显著提升了性能，尤其在受严重感知混淆影响的 Nordland 数据集上表现突出。