[论文解读] Semantically-Aware Attentive Neural Embeddings for Image-based Visual Localization

Zachary Seymour, Karan Sikka+3 more|arXiv (Cornell University)|Dec 8, 2018

Multimodal Machine Learning Applications参考文献 66被引用 6

一句话总结

本文提出SAANE，一种新颖的端到端深度注意力框架，通过融合外观特征与语义特征，生成适用于长期2D视觉定位的鲁棒、语义感知图像嵌入。通过采用共享通道注意力和模态特定的空间注意力机制，SAANE在三个具有挑战性的数据集上相较最先进方法实现了19%的平均绝对性能提升，尤其在极端视角变化条件下表现卓越。

ABSTRACT

We present an approach that combines appearance and semantic information for 2D image-based localization (2D-VL) across large perceptual changes and time lags. Compared to appearance features, the semantic layout of a scene is generally more invariant to appearance variations. We use this intuition and propose a novel end-to-end deep attention-based framework that utilizes multimodal cues to generate robust embeddings for 2D-VL. The proposed attention module predicts a shared channel attention and modality-specific spatial attentions to guide the embeddings to focus on more reliable image regions. We evaluate our model against state-of-the-art (SOTA) methods on three challenging localization datasets. We report an average (absolute) improvement of $19\%$ over current SOTA for 2D-VL. Furthermore, we present an extensive study demonstrating the contribution of each component of our model, showing $8$--$15\%$ and $4\%$ improvement from adding semantic information and our proposed attention module. We finally show the predicted attention maps to offer useful insights into our model.

研究动机与目标

• 解决在天气、光照和动态物体等严重感知变化下长期2D视觉定位的挑战。
• 通过结合中级外观特征与高层语义信息，提升学习到的图像嵌入的鲁棒性。
• 克服仅依赖外观的深度学习模型在大视角和光照变化下性能下降的局限性。
• 开发一种多模态注意力机制，以选择性地聚焦于时间延迟和条件变化查询中的稳定、判别性图像区域。
• 证明注意力引导的外观与语义特征融合可带来更可靠、更一致的定位性能。

提出的方法

• 引入一种多模态注意力模块，通过共享通道注意力和模态特定的空间注意力联合处理外观与语义特征。
• 使用像素级语义分割图作为高层语义输入，同时结合深度卷积神经网络特征表示外观。
• 应用通道注意力，根据模态重要性动态重加权特征通道，增强判别能力。
• 应用空间注意力图，聚焦于稳定且语义有意义的区域（如建筑物、道路布局），同时抑制动态或噪声元素（如车辆）。
• 通过逐元素连接和非线性变换融合经过注意力处理的外观与语义特征，生成语义感知嵌入。
• 采用类孪生对比损失端到端训练整个网络，以度量学习框架优化定位精度。

实验结果

研究问题

• RQ1 将语义布局信息整合是否能提升2D视觉定位在极端外观变化下的鲁棒性？
• RQ2 模态特定的空间注意力如何通过聚焦于稳定、判别性场景区域来增强特征表示？
• RQ3 共享通道注意力在外观与语义模态之间特征融合方面有多大提升作用？
• RQ4 注意力图在时间延迟和条件变化图像中的表现如何？是否一致地突出可靠场景结构？
• RQ5 所提出的多模态注意力机制是否在可测量程度上优于仅外观或非注意力基线模型？

主要发现

• SAANE在三个2D视觉定位基准数据集上相较当前最先进（SOTA）方法实现了19%的平均绝对性能提升。
• 仅添加语义特征即可使性能提升8–15%，证明高层场景理解在定位任务中的价值。
• 所提出的注意力模块额外贡献了4%的性能提升，凸显其在优化特征选择与鲁棒性方面的作用。
• 在Nordland数据集上，SAANE相较基线实现32%的绝对性能提升；在RobotCar AM→PM上提升22%，表明其在极端视角条件变化下表现强劲。
• 注意力图可视化结果证实，该模型始终聚焦于稳定场景结构（如建筑轮廓、车道标记），同时抑制动态物体（如车辆）。
• 在所有数据集上，SAANE相较APANet提升37–38%，表明所提出的注意力机制在处理感知变化方面优于基于池化的替代方案。