[论文解读] VehicleNet: Learning Robust Visual Representation for Vehicle Re-identification

Zhedong Zheng, Tao Ruan+3 more|arXiv (Cornell University)|Apr 14, 2020

Video Surveillance and Tracking Methods参考文献 53被引用 5

一句话总结

本文提出VehicleNet，一个结合四个公开数据集的大规模多源车辆重识别数据集，以及一种两阶段渐进式学习方法，以学习鲁棒的、视角不变的视觉表征。通过先在VehicleNet上使用分类损失进行预训练，再在目标域上微调以减少分布差异，该方法在AICity Challenge私有测试集上达到86.07%的mAP，超越冠军并创下新的最先进水平。

ABSTRACT

One fundamental challenge of vehicle re-identification (re-id) is to learn robust and discriminative visual representation, given the significant intra-class vehicle variations across different camera views. As the existing vehicle datasets are limited in terms of training images and viewpoints, we propose to build a unique large-scale vehicle dataset (called VehicleNet) by harnessing four public vehicle datasets, and design a simple yet effective two-stage progressive approach to learning more robust visual representation from VehicleNet. The first stage of our approach is to learn the generic representation for all domains (i.e., source vehicle datasets) by training with the conventional classification loss. This stage relaxes the full alignment between the training and testing domains, as it is agnostic to the target vehicle domain. The second stage is to fine-tune the trained model purely based on the target vehicle set, by minimizing the distribution discrepancy between our VehicleNet and any target domain. We discuss our proposed multi-source dataset VehicleNet and evaluate the effectiveness of the two-stage progressive representation learning through extensive experiments. We achieve the state-of-art accuracy of 86.07% mAP on the private test set of AICity Challenge, and competitive results on two other public vehicle re-id datasets, i.e., VeRi-776 and VehicleID. We hope this new VehicleNet dataset and the learned robust representations can pave the way for vehicle re-id in the real-world environments.

研究动机与目标

• 通过创建大规模、多源数据集，解决车辆重识别中训练数据有限的挑战。
• 学习对视角、光照和遮挡变化具有鲁棒性和判别性的视觉表征。
• 开发一种两阶段渐进式学习策略，将模型从通用车辆知识适应到特定目标域。
• 在真实世界基准（包括AICity Challenge、VeRi-776和VehicleID）上评估方法，以证明泛化能力和性能提升。

提出的方法

• 通过整合四个公开的车辆数据集构建VehicleNet，将训练图像数量从26,803张增加至434,440张。
• 在第一阶段使用标准交叉熵分类损失在VehicleNet上训练CNN模型，以学习通用的车辆表征。
• 在第二阶段通过最小化域间分布差异，在目标数据集上微调预训练模型。
• 使用数据增强、查询扩展、重排序和模型集成等技术进一步提升测试集上的性能。
• 在训练中采用平衡采样策略，但发现其因在低频类别上过拟合而有害，因此默认采用朴素采样。
• 通过中间层激活图可视化学习到的注意力图，以分析模型对车灯、轮胎等判别性部件的关注。

实验结果

研究问题

• RQ1 将多个公开车辆数据集整合为单一大规模数据集，能否提升车辆重识别中的特征鲁棒性？
• RQ2 两阶段渐进式学习策略——先在通用数据集上预训练，再在特定域上微调——是否优于单阶段训练？
• RQ3 在长尾、多源数据集上训练时，数据采样策略如何影响模型泛化能力？
• RQ4 在真实世界车辆重识别场景中，后处理技术（如查询扩展和重排序）能在多大程度上提升mAP？
• RQ5 从多样化视角和光照条件下学习到的深度特征，是否能内在地实现视角不变性，而无需显式部件定位或属性识别？

主要发现

• 所提出的两阶段方法在AICity Challenge私有测试集上达到86.07%的mAP，超越官方冠军。
• 该模型在无时空标注的CityFlow验证集上取得75.60%的mAP，加入此类标注后提升至86.07%。
• SE-ResNeXt101在所测试的主干网络中表现最佳，在CityFlow验证集上达到83.37%的Rank@1和48.71%的mAP。
• 由于在罕见类别上过拟合，平衡采样策略损害了性能，因此尽管存在类别不平衡，仍优先选择朴素采样。
• 注意力图可视化证实，模型能够学习到在不同视角下聚焦于判别性车辆部件（如车灯和轮胎）。
• 模型在VehicleNet（31,805个类别）上60个周期内收敛，在目标域上仅用12个周期即可微调，表明预训练有效。