[论文解读] Vehicle Re-identification Using Quadruple Directional Deep Learning Features

Jianqing Zhu, Huanqiang Zeng+5 more|arXiv (Cornell University)|Nov 13, 2018

Advanced Neural Network Applications参考文献 15被引用 11

一句话总结

本文提出了一种新型的四向深度学习特征（QD-DLF）方法，用于车辆重识别，通过使用短连接且密集连接的卷积神经网络，结合方向平均池化层，提取并融合水平、垂直、对角线和反对角线方向的特征图，从而增强对视角变化的鲁棒性。该方法在VeRi和VehicleID数据集上实现了最先进性能，显著优于现有方法，在平均平均精度（mAP）和rank-1识别率方面均表现优异。

ABSTRACT

In order to resist the adverse effect of viewpoint variations for improving vehicle re-identification performance, we design quadruple directional deep learning networks to extract quadruple directional deep learning features (QD-DLF) of vehicle images. The quadruple directional deep learning networks are with similar overall architecture, including the same basic deep learning architecture but different directional feature pooling layers. Specifically, the same basic deep learning architecture is a shortly and densely connected convolutional neural network to extract basic feature maps of an input square vehicle image in the first stage. Then, the quadruple directional deep learning networks utilize different directional pooling layers, i.e., horizontal average pooling (HAP) layer, vertical average pooling (VAP) layer, diagonal average pooling (DAP) layer and anti-diagonal average pooling (AAP) layer, to compress the basic feature maps into horizontal, vertical, diagonal and anti-diagonal directional feature maps, respectively. Finally, these directional feature maps are spatially normalized and concatenated together as a quadruple directional deep learning feature for vehicle re-identification. Extensive experiments on both VeRi and VehicleID databases show that the proposed QD-DLF approach outperforms multiple state-of-the-art vehicle re-identification methods.

研究动机与目标

• 为解决车辆重识别中视角变化带来的关键挑战，该挑战在实际监控应用中严重降低性能。
• 通过捕捉车辆图像在多个方向上的结构信息，提升特征表示能力。
• 设计一种深度学习架构，融合方向特征以增强判别能力与鲁棒性。
• 在保持合理推理效率的同时，实现更优的重识别准确率。

提出的方法

• 使用短连接且密集连接的卷积神经网络，从方形车辆图像中提取基础特征图。
• 应用四种不同的方向平均池化层——水平（HAP）、垂直（VAP）、对角线（DAP）和反对角线（AAP）——将基础特征图压缩为方向特征图。
• 对每个方向的特征图进行空间归一化，并拼接形成统一的四向深度学习特征（QD-DLF）。
• 将QD-DLF特征用于跨不同摄像头视图的重识别任务中的匹配。
• 采用端到端训练方式，利用深度学习框架，充分发挥多方向特征的判别能力。
• 使用标准基准数据集VeRi和VehicleID对方法进行评估。

实验结果

研究问题

• RQ1 融合多方向的特征是否能提升车辆重识别在视角变化下的鲁棒性？
• RQ2 所提出的QD-DLF方法在性能上相较于整体特征学习法及其他最先进方法表现如何？
• RQ3 与更深或更复杂的架构相比，QD-DLF模型的计算效率如何？
• RQ4 使用方向池化层是否能带来比标准全局平均池化更优的判别性特征表示？

主要发现

• 所提出的QD-DLF方法在VeRi数据集上实现了92.4%的平均平均精度（MAP），显著优于次优方法。
• 在VehicleID数据集上，QD-DLF实现了88.7%的MAP，展现出优异的跨数据集泛化能力。
• 与最佳的整体特征基线方法（F-DLF-256）相比，QD-DLF将MAP提升了20.84%，rank-1识别率提升了8.35%。
• 仅V-DLF变体的性能已优于F-DLF-256整体特征方法，表明方向特征学习比基于全连接的整体学习更有效。
• QD-DLF的特征提取时间仅为每张图像11.199 ms，比DenseNet121快2.448 ms，尽管其模型结构更复杂。
• QD-DLF模型保持了高效率，每个方向的特征提取仅耗时约2.3 ms，与GoogLeNet相当，且快于DenseNet121。