[论文解读] Unsupervised Feature Learning Toward a Real-time Vehicle Make and Model Recognition

Amir Nazemi, Mohammad Javad Shafiee+2 more|arXiv (Cornell University)|Jun 8, 2018

Advanced Neural Network Applications参考文献 27被引用 7

一句话总结

该论文提出ORV-MMR，一种基于SIFT特征的局部约束线性编码（LLC）的实时、无监督特征学习框架，用于细粒度车辆品牌与型号识别。在伊朗道路数据集上达到97.5%的准确率，在CompuCar数据集上达到98.4%的准确率，且在不同光照和天气条件下表现稳健，同时通过两个专用类别检测未知车辆。

ABSTRACT

Vehicle Make and Model Recognition (MMR) systems provide a fully automatic framework to recognize and classify different vehicle models. Several approaches have been proposed to address this challenge, however they can perform in restricted conditions. Here, we formulate the vehicle make and model recognition as a fine-grained classification problem and propose a new configurable on-road vehicle make and model recognition framework. We benefit from the unsupervised feature learning methods and in more details we employ Locality constraint Linear Coding (LLC) method as a fast feature encoder for encoding the input SIFT features. The proposed method can perform in real environments of different conditions. This framework can recognize fifty models of vehicles and has an advantage to classify every other vehicle not belonging to one of the specified fifty classes as an unknown vehicle. The proposed MMR framework can be configured to become faster or more accurate based on the application domain. The proposed approach is examined on two datasets including Iranian on-road vehicle dataset and CompuCar dataset. The Iranian on-road vehicle dataset contains images of 50 models of vehicles captured in real situations by traffic cameras in different weather and lighting conditions. Experimental results show superiority of the proposed framework over the state-of-the-art methods on Iranian on-road vehicle datatset and comparable results on CompuCar dataset with 97.5% and 98.4% accuracies, respectively.

研究动机与目标

• 开发一种适用于真实道路条件下光照、天气和视角多变的实时、鲁棒车辆品牌与型号识别系统。
• 通过实现无需依赖国家数据库的直接车辆分类，解决车牌识别（LPR）系统的局限性。
• 在真实世界成像条件下，提升视觉上相似车辆型号的细粒度分类准确率。
• 通过基于尺寸将未见车辆分类为“未知轻型”或“未知重型”类别，实现未知类别检测。
• 为不同智能交通系统（ITS）应用提供可配置的速度与准确率权衡机制。

提出的方法

• 该框架使用从车辆图像中提取的SIFT特征作为无监督特征学习的输入。
• 采用局部约束线性编码（LLC）作为快速、高效的特征编码器，将SIFT特征表示为紧凑且具有判别力的码书。
• 采用两级分类策略：首先，基础分类器将车辆分配至50个已知类别之一；其次，通过置信度水平评估验证预测结果。
• 系统在包含50个预定义类别的伊朗道路车辆数据集上进行训练，并增加两个额外的未知类别以处理分布外车辆。
• 该框架针对实时推理进行了优化，使用MATLAB时每张图像的分类时间报告为0.09秒。
• 该方法在两个数据集上进行评估：自定义的伊朗道路数据集和CompuCar数据集，并对速度-准确率权衡进行了消融分析。

实验结果

研究问题

• RQ1 无监督特征学习方法是否能在真实世界成像条件下实现细粒度车辆品牌与型号识别的高准确率？
• RQ2 局部约束线性编码（LLC）在训练数据有限的车辆识别任务中，对SIFT特征的编码效果如何？
• RQ3 该系统能否可靠地检测并分类不属于预定义50个类别的未知车辆？
• RQ4 与F-G-VMMR和AlexNet等最先进方法相比，该框架在真实世界数据集上的准确率和速度表现如何？
• RQ5 根据应用需求，该框架在实现更快推理或更高准确率方面可配置的程度如何？

主要发现

• 所提出的ORV-MMR-S2框架在伊朗道路车辆数据集上实现了97.5%的平均每类准确率，优于F-G-VMMR（95.26%）和AlexNet（94.43%）在相同数据集上的表现。
• 在CompuCar数据集上，该框架实现了98.4%的准确率，表明其性能与最先进方法相当。
• 该系统成功检测并分类未知车辆为“未知轻型”或“未知重型”类别，显著降低了分布外车辆的误分类率。
• 混淆矩阵显示，误分类主要发生在外观相似的车型之间（例如C39与C40），其中C13类被误分类的频率最高。
• 使用MATLAB时，分类步骤每张图像耗时0.09秒，表明其适合实时部署。
• 该框架在不同真实世界条件下表现出强大的泛化能力和鲁棒性，包括光照变化、天气差异和相机视角变化。