[论文解读] Vehicle Re-identification with Viewpoint-aware Metric Learning

Ruihang Chu, Yifan Sun+4 more|arXiv (Cornell University)|Oct 9, 2019

Video Surveillance and Tracking Methods参考文献 33被引用 15

一句话总结

本文提出视点感知网络（VANet），一种用于车辆重识别的新型度量学习方法，通过两个专用特征空间分别学习相似视点（S-view）和不同视点（D-view）配对的独立度量。通过在训练过程中同时施加空间内约束与跨空间约束，VANet显著提升了重识别准确率，尤其在具有挑战性的D-view正样本对上表现突出，在VehicleID和Veri-776基准上达到最先进性能。

ABSTRACT

This paper considers vehicle re-identification (re-ID) problem. The extreme viewpoint variation (up to 180 degrees) poses great challenges for existing approaches. Inspired by the behavior in human's recognition process, we propose a novel viewpoint-aware metric learning approach. It learns two metrics for similar viewpoints and different viewpoints in two feature spaces, respectively, giving rise to viewpoint-aware network (VANet). During training, two types of constraints are applied jointly. During inference, viewpoint is firstly estimated and the corresponding metric is used. Experimental results confirm that VANet significantly improves re-ID accuracy, especially when the pair is observed from different viewpoints. Our method establishes the new state-of-the-art on two benchmarks.

研究动机与目标

• 解决车辆重识别中极端视点变化（高达180度）带来的挑战，该问题严重降低匹配准确率。
• 克服现有度量学习方法在特征空间中无法将D-view正样本对与S-view负样本对区分开来的局限性。
• 通过双分支网络结构模仿人类识别行为，对S-view和D-view配对分别应用不同的匹配策略。
• 在查询与图库图像来自截然不同视点的真实世界条件下，提升重识别性能。
• 仅使用ID监督和辅助视点信息，避免依赖额外属性或外部数据，实现最先进性能。

提出的方法

• 设计一个双分支深度度量学习网络VANet，为S-view和D-view配对设置独立的特征空间，以学习视点感知度量。
• 施加空间内约束，使每个特征空间内（S-view对S-view，D-view对D-view）的正样本对比负样本对更接近。
• 引入跨空间约束，使跨特征空间的正样本对（D-view正样本对与S-view负样本对）也比负样本对更接近。
• 推理时，估计查询图像的视点，并选择对应的度量（S-view或D-view）进行匹配，实现自适应重识别。
• 使用三元组损失与对比损失的组合进行网络训练，以同时优化空间内与跨空间约束。
• 采用主干网络（如ResNet-50或GoogLeNet）进行特征提取，并通过附加分支学习视点特定度量，计算开销极小。

实验结果

研究问题

• RQ1 视点感知度量学习是否能提升在极端视点变化下的车辆重识别准确率？
• RQ2 将度量学习划分为S-view与D-view场景，是否能带来比统一度量学习更强的特征判别能力？
• RQ3 跨空间约束在减少D-view正样本对与S-view负样本对之间的混淆方面有多有效？
• RQ4 采用针对相似视点与不同视点使用不同匹配标准的人类启发策略，是否能提升检索性能？
• RQ5 VANet是否在标准基准上超越现有最先进方法，且无需依赖额外属性或外部数据？

主要发现

• 在Veri-776基准上，VANet取得66.34%的mAP和89.78%的top-1准确率，优于所有对比的最先进方法。
• 在VehicleID上，VANet使用ResNet-50取得88.12%的mAP和97.29%的top-1准确率，超越基线模型及使用相同主干网络的GSTE。
• 该方法在D-view正样本对上的性能显著提升，Veri-776上mAP相比基线提升7.59个百分点。
• 跨空间约束在减少D-view正样本对与S-view负样本对之间的重叠方面尤为有效，如距离分布图所示。
• VANet仅使用ID监督和视点标注即实现最先进性能，优于使用额外属性或外部数据的方法。
• 尽管增加了一个分支，VANet仍保持计算效率，参数量仅10.9M（SOTA方法中第二少），且准确率优于更小的模型如GSTE。