[论文解读] Multiple Pedestrians and Vehicles Tracking in Aerial Imagery: A Comprehensive Study

Seyed Majid Azimi, Maximilian Kraus+2 more|arXiv (Cornell University)|Oct 19, 2020

Video Surveillance and Tracking Methods参考文献 4被引用 5

一句话总结

该论文提出AerialMPTNet，一种基于深度学习的航拍图像多目标跟踪框架，通过融合外观（孪生网络）、时间（LSTM）和空间图（GCN）特征，提升对行人和车辆的跟踪性能。其在行人数据集上达到最先进性能，在车辆数据集上表现具有竞争力，L1损失优于Huber损失，LSTM/GCN模块增强稳定性，而SE模块和OHEM在不同上下文环境下表现出差异化的增益效果。

ABSTRACT

In this paper, we address various challenges in multi-pedestrian and vehicle tracking in high-resolution aerial imagery by intensive evaluation of a number of traditional and Deep Learning based Single- and Multi-Object Tracking methods. We also describe our proposed Deep Learning based Multi-Object Tracking method AerialMPTNet that fuses appearance, temporal, and graphical information using a Siamese Neural Network, a Long Short-Term Memory, and a Graph Convolutional Neural Network module for a more accurate and stable tracking. Moreover, we investigate the influence of the Squeeze-and-Excitation layers and Online Hard Example Mining on the performance of AerialMPTNet. To the best of our knowledge, we are the first in using these two for a regression-based Multi-Object Tracking. Additionally, we studied and compared the L1 and Huber loss functions. In our experiments, we extensively evaluate AerialMPTNet on three aerial Multi-Object Tracking datasets, namely AerialMPT and KIT AIS pedestrian and vehicle datasets. Qualitative and quantitative results show that AerialMPTNet outperforms all previous methods for the pedestrian datasets and achieves competitive results for the vehicle dataset. In addition, Long Short-Term Memory and Graph Convolutional Neural Network modules enhance the tracking performance. Moreover, using Squeeze-and-Excitation and Online Hard Example Mining significantly helps for some cases while degrades the results for other cases. In addition, according to the results, L1 yields better results with respect to Huber loss for most of the scenarios. The presented results provide a deep insight into challenges and opportunities of the aerial Multi-Object Tracking domain, paving the way for future research.

研究动机与目标

• 为解决高分辨率航拍图像中因目标尺寸小、遮挡和高密度导致的多目标跟踪性能下降问题。
• 开发一种专为航拍图像设计的基于深度学习的多目标跟踪（MOT）方法，整合外观、时间与空间图特征。
• 评估Squeeze-and-Excitation（SE）模块和在线难例挖掘（OHEM）等架构组件对航拍环境下基于回归的MOT的影响。
• 比较损失函数（L1与Huber）的性能，评估其对航拍MOT中跟踪精度与鲁棒性的影响。
• 在三个航拍MOT数据集上提供现有SOT与MOT方法的全面基准测试与分析，识别性能差距与研究机遇。

提出的方法

• AerialMPTNet采用孪生神经网络（SNN）提取鲁棒的外观特征，用于跨帧的目标重识别。
• 采用长短期记忆网络（LSTM）建模时间依赖性并预测目标运动，提升长时间跟踪的稳定性。
• 采用图卷积神经网络（GCN）捕捉跟踪目标之间的空间关系，建模相互作用，改善遮挡处理能力。
• 通过晚期融合策略将SNN、LSTM和GCN分支的特征进行融合，生成准确的边界框预测结果。
• 集成Squeeze-and-Excitation（SE）模块，根据通道重要性重新校准特征图，增强表征学习能力。
• 在训练过程中应用在线难例挖掘（OHEM），聚焦于误分类或难以跟踪的样本，提升模型泛化能力。

实验结果

研究问题

• RQ1 外观、时间与图建模组件在航拍图像中单独及协同作用时，如何提升多目标跟踪性能？
• RQ2 Squeeze-and-Excitation（SE）模块对基于回归的MOT模型在航拍跟踪任务中的性能有何影响？
• RQ3 在线难例挖掘（OHEM）如何影响AerialMPTNet在复杂航拍场景下的鲁棒性与准确性？
• RQ4 在航拍MOT任务中，L1损失与Huber损失哪种性能更优，其适用条件为何？
• RQ5 AerialMPTNet与当前最先进（SOTA）的传统与深度学习跟踪方法在航拍MOT基准上的表现如何比较？

主要发现

• AerialMPTNet在KIT AIS与AerialMPT行人数据集上均取得最高MOTA，较之前最佳方法SMSOT-CNN分别提升16.2和23.4个百分点。
• 在KIT AIS与AerialMPT数据集上，AerialMPTNet分别多跟踪5.9%和4.6%的行人，且行人丢失率分别降低5.2%和6.8%。
• LSTM与GCN模块显著提升跟踪性能，其中LSTM增强运动预测能力，GCN通过空间建模改善遮挡处理效果。
• Squeeze-and-Excitation（SE）与在线难例挖掘（OHEM）在部分场景中提升性能，但在其他场景中导致性能下降，表明其有效性具有上下文依赖性。
• L1损失在多数场景下优于Huber损失，尤其在MOTA与MOTP指标上表现更优，因此更适合本任务。
• 在车辆跟踪方面，AerialMPTNet取得具有竞争力的结果，但Staked-DCFNet与CSRT在MOTA与MOTP上仍更优，其中CSRT达到最高的MOTA 51.1。