[论文解读] Spatial-Temporal Map Vehicle Trajectory Detection Using Dynamic Mode Decomposition and Res-UNet+ Neural Networks

Tianya Zhang, Peter J. Jin|arXiv (Cornell University)|Jan 13, 2022

Anomaly Detection Techniques and Applications参考文献 60被引用 4

一句话总结

本文提出了一种新颖的方法，通过动态模态分解（DMD）从高空交通摄像头视频中检测车辆轨迹，将时空图（STMap）分解为前景（车辆）和背景（场景），并结合自定义的Res-UNet+深度神经网络进行语义分割。该方法实现了高精度与强鲁棒性，显著优于以往方法，生成了经清理的高质量轨迹数据，适用于交通流研究。

ABSTRACT

This paper presents a machine-learning-enhanced longitudinal scanline method to extract vehicle trajectories from high-angle traffic cameras. The Dynamic Mode Decomposition (DMD) method is applied to extract vehicle strands by decomposing the Spatial-Temporal Map (STMap) into the sparse foreground and low-rank background. A deep neural network named Res-UNet+ was designed for the semantic segmentation task by adapting two prevalent deep learning architectures. The Res-UNet+ neural networks significantly improve the performance of the STMap-based vehicle detection, and the DMD model provides many interesting insights for understanding the evolution of underlying spatial-temporal structures preserved by STMap. The model outputs were compared with the previous image processing model and mainstream semantic segmentation deep neural networks. After a thorough evaluation, the model is proved to be accurate and robust against many challenging factors. Last but not least, this paper fundamentally addressed many quality issues found in NGSIM trajectory data. The cleaned high-quality trajectory data are published to support future theoretical and modeling research on traffic flow and microscopic vehicle control. This method is a reliable solution for video-based trajectory extraction and has wide applicability.

研究动机与目标

• 解决在复杂条件下从高空交通摄像头视频中提取准确车辆轨迹的挑战。
• 改进现有图像处理与深度学习模型在从时空图（STMap）中分割车辆方面的表现。
• 利用动态模态分解（DMD）将STMap中的动态车辆轨迹与静态背景结构分离。
• 开发一种专用于STMap的车辆分割的深度神经网络Res-UNet+。
• 生成经清理的高质量轨迹数据集，以支持未来交通流建模与微观车辆控制研究。

提出的方法

• 对时空图（STMap）应用动态模态分解（DMD），将其分解为低秩背景与稀疏前景分量，从而分离出车辆运动模式。
• 通过改进ResNet与U-Net结构，设计了一种改进的Res-UNet+架构，以增强STMap数据上的特征学习与分割精度。
• Res-UNet+模型对DMD处理后的STMap执行语义分割，以检测并追踪车辆轨迹。
• 该方法将DMD的结构分解与深度学习相结合，提升了对噪声、遮挡与光照变化的鲁棒性。
• 处理流程将视频帧转化为STMap表示，应用DMD进行背景减除，再利用Res-UNet+完成最终的车辆实例分割。
• 最终输出为经验证的高精度、清洁车辆轨迹集合，与真实数据及先前模型进行对比。

实验结果

研究问题

• RQ1 DMD能否有效分离高空交通摄像头视频STMap表示中动态车辆运动与静态背景？
• RQ2 所提出的Res-UNet+模型在STMap上检测车辆方面，与主流语义分割网络相比表现如何？
• RQ3 在真实世界挑战（如遮挡与低对比度）下，DMD-Res-UNet+联合框架在轨迹检测精度上的提升程度如何？
• RQ4 该方法能否生成适合交通流建模与微观控制研究的高质量、经清理的轨迹数据？
• RQ5 DMD为交通中车辆运动的潜在时空动态提供了哪些洞见？

主要发现

• 基于DMD的预处理显著提升了STMap中的信噪比，使车辆轨迹的提取更加清晰。
• Res-UNet+模型在STMap上的车辆分割精度上优于传统图像处理方法与主流深度学习模型。
• 该方法在部分遮挡、光照变化与高密度车辆等复杂条件下表现出强鲁棒性。
• 与现有NGSIM数据相比，最终的轨迹输出显著减少了误差，解决了长期存在的数据质量问题。
• 所生成的经清理轨迹数据集已公开发布，支持未来交通动力学与车辆控制研究。
• DMD与深度学习的结合为时空交通结构的演化过程提供了可解释的洞察。