[论文解读] Part-Guided Attention Learning for Vehicle Instance Retrieval

Xinyu Zhang, Rufeng Zhang+4 more|arXiv (Cornell University)|Sep 13, 2019

Advanced Neural Network Applications参考文献 55被引用 20

一句话总结

本文提出了一种面向车辆实例检索的部件引导注意力网络（PGAN），通过结合自底向上的部件检测与自顶向下的注意力机制，突出显示具有区分性的车辆部件。通过整合基于部件的自底向上注意力（通过预训练检测器实现）与自顶向下的注意力（通过可学习的部件注意力模块实现），PGAN 改进了特征学习，在四个基准数据集上实现了最先进性能，显著优于先前方法。

ABSTRACT

Vehicle instance retrieval often requires one to recognize the fine-grained visual differences between vehicles. Besides the holistic appearance of vehicles which is easily affected by the viewpoint variation and distortion, vehicle parts also provide crucial cues to differentiate near-identical vehicles. Motivated by these observations, we introduce a Part-Guided Attention Network (PGAN) to pinpoint the prominent part regions and effectively combine the global and part information for discriminative feature learning. PGAN first detects the locations of different part components and salient regions regardless of the vehicle identity, which serve as the bottom-up attention to narrow down the possible searching regions. To estimate the importance of detected parts, we propose a Part Attention Module (PAM) to adaptively locate the most discriminative regions with high-attention weights and suppress the distraction of irrelevant parts with relatively low weights. The PAM is guided by the instance retrieval loss and therefore provides top-down attention that enables attention to be calculated at the level of car parts and other salient regions. Finally, we aggregate the global appearance and part features to improve the feature performance further. The PGAN combines part-guided bottom-up and top-down attention, global and part visual features in an end-to-end framework. Extensive experiments demonstrate that the proposed method achieves new state-of-the-art vehicle instance retrieval performance on four large-scale benchmark datasets.

研究动机与目标

• 为解决在非约束环境下区分具有细微视觉差异的近乎完全相同的车辆所面临的挑战。
• 通过利用全局外观特征与局部部件级特征，提升车辆实例检索性能。
• 开发一种双注意力机制，结合自底向上的候选部件检测与自顶向下的自适应注意力加权。
• 通过识别对身份区分贡献最大的车辆部件，实现可解释的注意力机制。
• 在大规模车辆重识别基准上实现最先进性能。

提出的方法

• 一个部件提取模块使用预训练的目标检测器以端到端方式检测候选车辆部件（如前灯、车轮、牌照），作为自底向上的注意力机制，以缩小搜索空间。
• 部件注意力模块（PAM）为每个检测到的部件区域学习软注意力权重，为更具区分性与信息量的部件分配更高权重。
• PAM 与识别损失端到端联合训练，实现自顶向下的注意力机制，使其能够自适应于特定身份的特征。
• 通过聚合全局特征与局部特征，增强区分性表征学习。
• 网络联合优化，以同时提升部件级与整体特征学习能力。
• 该方法在四个大规模基准上进行评估，并通过消融研究验证了各组件的贡献。

实验结果

研究问题

• RQ1 将自底向上的部件检测与自顶向下的注意力相结合，是否能提升车辆实例检索的准确率？
• RQ2 哪些特定车辆部件对身份区分贡献最大，注意力机制能否有效识别它们？
• RQ3 与传统的全局注意力或网格注意力相比，所提出的部件引导注意力机制在处理视角变化与遮挡时表现如何？
• RQ4 该模型能否泛化到具有极少区分特征的车辆上？其局限性是什么？
• RQ5 将部件级注意力与全局特征结合，是否能显著提升基线方法的性能？

主要发现

• PGAN 在四个大规模车辆重识别基准上实现了新的最先进性能，展现出卓越的泛化能力与鲁棒性。
• 部件注意力模块（PAM）成功突出显示了如年检标志与前灯等具有区分性的部件，同时抑制了后视镜与背景等无关区域。
• 统计分析表明，车灯是最常被选中且最具信息量的属性，其次为挡风玻璃与车轮，而标识与牌照等细微特征也作出了显著贡献。
• 该模型保持了高效率，尽管增加了注意力与聚合模块，其 IR 模块的运行速度与基线模型相当。
• 当面对无独特特征或视觉相似度极高的车辆时，模型会失效，证实其对具有区分性的视觉线索存在依赖。
• 消融研究证实，自底向上的部件检测与自顶向下的注意力均不可或缺，两者均对最终性能提升有显著贡献。