[论文解读] Orientation-aware Vehicle Re-identification with Semantics-guided Part Attention Network

Tsai-Shien Chen, Chih‐Ting Liu+2 more|arXiv (Cornell University)|Aug 26, 2020

Advanced Neural Network Applications参考文献 4被引用 8

一句话总结

本文提出了一种语义引导的部件注意力网络（SPAN），仅使用图像级别的视角标签即可生成鲁棒且视角特定的注意力掩码，用于车辆重识别，从而无需昂贵的关键点或像素级标注。通过将SPAN与共现部件注意力距离度量（CPDM）结合，该方法实现了最先进性能，在VeRi-776数据集上mAP提升7.2%，在CityFlow-ReID数据集上提升16.7%。

ABSTRACT

Vehicle re-identification (re-ID) focuses on matching images of the same vehicle across different cameras. It is fundamentally challenging because differences between vehicles are sometimes subtle. While several studies incorporate spatial-attention mechanisms to help vehicle re-ID, they often require expensive keypoint labels or suffer from noisy attention mask if not trained with expensive labels. In this work, we propose a dedicated Semantics-guided Part Attention Network (SPAN) to robustly predict part attention masks for different views of vehicles given only image-level semantic labels during training. With the help of part attention masks, we can extract discriminative features in each part separately. Then we introduce Co-occurrence Part-attentive Distance Metric (CPDM) which places greater emphasis on co-occurrence vehicle parts when evaluating the feature distance of two images. Extensive experiments validate the effectiveness of the proposed method and show that our framework outperforms the state-of-the-art approaches.

研究动机与目标

• 为解决在不同视角下区分具有细微视觉差异的车辆的挑战。
• 减少对昂贵的关键点或像素级标注的依赖，以学习车辆重识别中的部件感知特征。
• 通过聚焦匹配图像中共同出现的车辆部件来提升特征判别能力。
• 设计一种在多种车辆类型、颜色和朝向之间具有良好泛化能力的鲁棒注意力机制。
• 开发一种动态强调对比车辆图像间可见共享部件的距离度量。

提出的方法

• 提出一种语义引导的部件注意力网络（SPAN），仅使用图像级别的视角标签即可预测前视、侧视和后视注意力掩码。
• 采用掩码重建损失和两个辅助损失来监督注意力掩码生成，确保空间一致性和可解释性。
• 通过全局特征与部件感知特征的拼接实现增强的表征学习。
• 提出一种共现部件注意力距离度量（CPDM），根据两幅图像中部件的可见性和共现性自适应加权部件特征距离。
• 使用交叉熵损失和三元组损失进行端到端训练，以优化特征嵌入。
• 利用相机位姿和交通方向获取弱监督的图像级别视角标签，实现高效训练。

实验结果

研究问题

• RQ1 仅使用图像级别的视角标签，能否有效学习部件注意力掩码，而无需关键点或像素级标注？
• RQ2 语义引导的注意力机制在不同视角下如何提升车辆重识别中的特征判别能力？
• RQ3 一种强调共现部件的距离度量能否提升车辆重识别中的匹配准确率？
• RQ4 生成的注意力掩码在多种车辆类型、颜色和朝向下的鲁棒性如何？
• RQ5 SPAN与CPDM的结合是否在标准基准上优于现有最先进方法？

主要发现

• 所提出的SPAN结合CPDM在VeRi-776数据集上达到94.0% R-1和68.9% mAP，优于先前最先进方法。
• 在CityFlow-ReID数据集上，该方法达到59.5% R-1、61.9% R-5和42.0% mAP，显著优于先前方法。
• 消融实验表明，SPAN的注意力掩码提取了更具判别性的特征，相比基线mAP提升3.8%。
• CPDM度量相比标准欧氏距离在mAP上提升5.8%，证明其在特征距离计算中的有效性。
• 定性结果表明，SPAN在各种车辆上均生成稳定且有意义的注意力图，即使在具有挑战性的视角下亦然。
• 在VeRi-776和CityFlow-ReID上，该方法分别相较GRF-GGL [21] 提升7.2% mAP，相较DFFMG [9] 提升16.7% mAP。