[论文解读] Vehicle Shape and Color Classification Using Convolutional Neural Network

Mohamed Nafzi, Michael Brauckmann+1 more|arXiv (Cornell University)|May 15, 2019

Video Surveillance and Tracking Methods参考文献 7被引用 6

一句话总结

本文提出了一种基于深度学习的车辆重识别系统，采用卷积神经网络（CNN）进行联合品牌/型号和颜色分类。该系统利用大规模、半自动标注的数据集（包含1,447种车型和137个品牌），在CPU上实现了97.96%的颜色分类准确率和20ms的推理时间，且在受控环境和真实视频数据中均表现出色。

ABSTRACT

This paper presents a module of vehicle reidentification based on make/model and color classification. It could be used by the Automated Vehicular Surveillance (AVS) or by the fast analysis of video data. Many of problems, that are related to this topic, had to be addressed. In order to facilitate and accelerate the progress in this subject, we will present our way to collect and to label a large scale data set. We used deeper neural networks in our training. They showed a good classification accuracy. We show the results of make/model and color classification on controlled and video data set. We demonstrate with the help of a developed application the re-identification of vehicles on video images based on make/model and color classification. This work was partially funded under the grant.

研究动机与目标

• 解决真实世界视频监控中大规模车辆品牌/型号和颜色分类的挑战。
• 通过在1,447种车型和137个品牌上进行训练，克服先前工作的局限性，实现更广泛的商业适用性。
• 开发一种可扩展的半自动数据采集与标注流程，以支持对稀有或冷门车型的训练。
• 实现实时部署所需的高准确率和低推理延迟，适用于自动化车辆监控（AVS）系统。
• 通过端到端的重识别，在低分辨率、遮挡和多视角视频数据上展示出强大的性能。

提出的方法

• 采用改进的Inception-Net架构，结合Z标准化和ELU激活函数，以提升收敛速度和分类准确率。
• 使用10种预定义颜色类别的ResNet-based CNN进行颜色分类，优化在不同光照和图像质量条件下的鲁棒性。
• 利用半自动标注工具加速数据整理，结合网络爬取图像、质量过滤和人工验证。
• 通过图像模糊化和下采样进行数据增强，以模拟低质量视频输入并提升泛化能力。
• 采用交叉熵损失函数与Softmax输出进行多分类，通过反向传播最小化预测误差。
• 融合两种CNN架构（标准和改进的Inception）的预测结果，提升在高、低质量数据上的鲁棒性。

实验结果

研究问题

• RQ1 基于深度CNN的系统是否能在多样视角和不同图像质量下实现高准确率的车辆品牌/型号分类？
• RQ2 与受控数据集相比，品牌/型号分类在低分辨率和遮挡视频数据上的性能退化程度如何？
• RQ3 半自动数据流程是否能有效扩展至覆盖超过1,400种车型和137个品牌，从而支持实际部署？
• RQ4 与Stanford等标准基准上的先前工作相比，所提出的颜色分类器在准确率和推理速度上表现如何？
• RQ5 联合形状（品牌/型号）与颜色分类在多大程度上能实现在真实视频序列中的可靠车辆重识别？

主要发现

• 品牌/型号分类器在Stanford颜色基准上达到97.96%的准确率，优于先前工作（94.47%），且推理速度提升100倍（CPU上20ms vs. 3.248s）。
• 融合两种CNN架构使高质量数据上的残差误差降低8%，低质量数据上降低14.2%，证明了鲁棒性的提升。
• 系统在单个CPU核心（i7-4790）上实现每张图像20ms的推理时间，支持视频监控应用的实时处理。
• 颜色分类在视频数据中表现出高度鲁棒性，即使在光照变化、低分辨率和部分遮挡条件下仍保持优异性能。
• 模型在真实视频序列中表现出有效的重识别能力，成功在不同视角和条件下通过品牌/型号和颜色匹配车辆。
• 尽管存在视觉相似车型（如雷诺Clio与达契亚Logan）的挑战，系统仍保持高准确率，表明其在形状与颜色特征学习方面具有强大能力。