[论文解读] Multiple-Kernel Based Vehicle Tracking Using 3D Deformable Model and Camera Self-Calibration

Zheng Tang, Gaoang Wang+6 more|arXiv (Cornell University)|Aug 22, 2017

Video Surveillance and Tracking Methods参考文献 17被引用 23

一句话总结

本文提出了一种基于多核的车辆跟踪系统，结合3D可变形模型与自标定相机，以解决城市交通监控中的遮挡问题。通过整合形状匹配度、颜色信息以及自标定相机参数下自适应核反馈（基于行走人类的轨迹），该方法在AI City Challenge数据集上实现了优于最先进检测与分割方法的鲁棒多目标跟踪性能。

ABSTRACT

Tracking of multiple objects is an important application in AI City geared towards solving salient problems related to safety and congestion in an urban environment. Frequent occlusion in traffic surveillance has been a major problem in this research field. In this challenge, we propose a model-based vehicle localization method, which builds a kernel at each patch of the 3D deformable vehicle model and associates them with constraints in 3D space. The proposed method utilizes shape fitness evaluation besides color information to track vehicle objects robustly and efficiently. To build 3D car models in a fully unsupervised manner, we also implement evolutionary camera self-calibration from tracking of walking humans to automatically compute camera parameters. Additionally, the segmented foreground masks which are crucial to 3D modeling and camera self-calibration are adaptively refined by multiple-kernel feedback from tracking. For object detection/classification, the state-of-the-art single shot multibox detector (SSD) is adopted to train and test on the NVIDIA AI City Dataset. To improve the accuracy on categories with only few objects, like bus, bicycle and motorcycle, we also employ the pretrained model from YOLO9000 with multi-scale testing. We combine the results from SSD and YOLO9000 based on ensemble learning. Experiments show that our proposed tracking system outperforms both state-of-the-art of tracking by segmentation and tracking by detection.

研究动机与目标

• 解决城市交通监控中多车跟踪频繁发生遮挡的问题。
• 通过利用跟踪行走人类的演化相机自标定方法，实现完全无监督的3D汽车模型构建。
• 通过在3D可变形模型框架中结合颜色信息与形状匹配度评估，提升跟踪鲁棒性。
• 通过多核反馈改进前景掩码质量，以提升3D建模与标定性能。
• 通过集成学习融合SSD与YOLO9000检测结果，实现更优的跟踪性能。

提出的方法

• 该方法在每个表面 patch 上构建带有核的3D可变形车辆模型，实现局部特征匹配与基于形状的约束。
• 结合形状匹配度评估与颜色特征，提升在遮挡与外观变化下的跟踪鲁棒性。
• 利用对场景中行走行人轨迹应用的演化优化方法，实现相机参数的自标定。
• 通过跟踪过程中获得的多核反馈，自适应地优化前景掩码，以提升3D模型质量与标定精度。
• 通过多尺度测试与集成学习，结合SSD与YOLO9000的检测结果，提升对稀有类别（如公共汽车与摩托车）的检测能力。
• 系统通过联合优化跟踪与重建，集成3D模型约束、核反馈与标定后的相机几何结构。

实验结果

研究问题

• RQ1 与2D或刚性模型相比，基于局部patch核的3D可变形模型是否能显著提升遮挡情况下的跟踪鲁棒性？
• RQ2 在监控场景中，仅利用行人轨迹能否有效实现相机参数的自标定？
• RQ3 在复杂城市场景中，将形状匹配度与颜色信息结合，能在多大程度上提升跟踪精度？
• RQ4 从跟踪过程中获得的自适应核反馈，能否有效提升前景掩码质量，从而改善3D建模与标定？
• RQ5 SSD与YOLO9000之间的集成学习是否能显著提升对稀有车辆类别（如公共汽车与摩托车）的检测与跟踪性能？

主要发现

• 所提出的跟踪系统在2017年IEEE Smart World NVIDIA AI City Challenge Track 2: Applications中取得了最高性能。
• 形状匹配度与颜色特征的融合显著提升了跟踪鲁棒性，尤其在部分遮挡情况下表现更优。
• 通过行走行人实现的自标定方法，无需先验标定数据即可实现准确的相机参数估计。
• 自适应核反馈显著提升了前景掩码质量，从而实现了更精确的3D模型构建与标定。
• 采用SSD与YOLO9000的集成检测方法，显著提升了对低频车辆类别（如公共汽车与摩托车）的识别能力。
• 该系统在基准数据集上优于最先进基于检测与基于分割的跟踪方法。