[论文解读] Using Covariance Matrices as Feature Descriptors for Vehicle Detection from a Fixed Camera

Kevin Mäder, G.J. Reese|arXiv (Cornell University)|Feb 12, 2012

Video Surveillance and Tracking Methods参考文献 5被引用 8

一句话总结

本文提出使用图像区域的协方差矩阵作为特征描述符，从固定摄像头的视频流中对车辆进行汽车与卡车的分类。通过应用背景减除、图像预处理以及基于协方差矩阵特征值对数的距离度量方法，该方法实现了合理的分类准确率，但中型车辆的性能因特征空间中类间距离较小而下降。

ABSTRACT

A method is developed to distinguish between cars and trucks present in a video feed of a highway. The method builds upon previously done work using covariance matrices as an accurate descriptor for regions. Background subtraction and other similar proven image processing techniques are used to identify the regions where the vehicles are most likely to be, and a distance metric comparing the vehicle inside the region to a fixed library of vehicles is used to determine the class of vehicle.

研究动机与目标

• 开发一种在固定摄像头高速公路视频流中可靠区分汽车与卡车的方法。
• 探索协方差矩阵作为车辆分类特征描述符的有效性。
• 评估图像预处理和距离度量对分类准确率的影响。
• 识别由于特征空间中类间距离过小而导致中型车辆分类受限的问题。
• 评估使用协方差矩阵而非更简单指标（如边界框面积）进行车辆分类的可行性。

提出的方法

• 使用从50多帧图像计算出的平均图像进行背景减除，以分离移动车辆。
• 图像预处理包括旋转、裁剪、中值滤波和强度阈值化，以增强车辆区域。
• 通过Canny边缘检测和强度阈值化生成二值图像，以支持分割。
• 从分割后的车辆区域内的颜色和强度特征计算协方差矩阵，形成特征描述符。
• 基于协方差矩阵特征值的对数设计距离度量，用于将未知车辆与已知汽车和卡车模板库进行比较。
• 通过将每辆车辆分配给与之模板距离最小的类别（汽车或卡车）来确定分类结果。

实验结果

研究问题

• RQ1 协方差矩阵能否有效捕捉用于在固定摄像头视频中区分汽车与卡车的判别性特征？
• RQ2 基于协方差矩阵特征值的度量选择如何影响分类准确率？
• RQ3 中值滤波和边缘增强等图像预处理步骤在多大程度上提升了分类性能？
• RQ4 为何如旅行车这类中型车辆会出现分类结果不一致？
• RQ5 与基于边界框面积等更简单指标相比，协方差矩阵方法在车辆分类中是否更具优势？

主要发现

• 该方法成功对极端情况进行了分类——将小型轿车识别为汽车，大型卡车识别为卡车，证明了其在明显区分车辆类型时的鲁棒性。
• 中型车辆（如旅行车）常被错误分类，原因在于特征空间中汽车与卡车模板之间的距离差异过小。
• 当车辆到汽车和卡车模板的距离相等时，出现显著的失败模式，这是由于背景减除图像中出现了道路标记引起的虚假边缘所致。
• 该算法的性能对图像质量和预处理方法敏感，在存在鬼影效应和低光照条件下，特征提取受到影响。
• 在距离度量中使用对数特征值提供了稳定的比较，但与基于面积的简单替代方法相比，该方法计算开销较大。
• 研究结论认为，需要采用更定量、数据驱动的度量设计方法，因为当前的调优过程为定性且可能非最优。