[论文解读] Multi-target multi-camera vehicle tracking using transformer-based camera link model and spatial-temporal information

Hsiang-Wei Huang, Yang, Cheng-Yen+1 more|arXiv (Cornell University)|Jan 18, 2023

Video Surveillance and Tracking Methods被引用 4

一句话总结

该论文提出了一种基于Transformer的相机关联模型，结合时空滤波以提升多目标多相机车辆跟踪（MTMCT）性能。通过利用时间与方向掩码以及双向过渡时间窗口，该方法显著缩小了跨相机关联的搜索空间，在CityFlowV2基准上实现了73.68%的IDF1分数——优于2020年AI City Challenge所有参赛队伍，并在2021年位列前茅。

ABSTRACT

Multi-target multi-camera tracking (MTMCT) of vehicles, i.e. tracking vehicles across multiple cameras, is a crucial application for the development of smart city and intelligent traffic system. The main challenges of MTMCT of vehicles include the intra-class variability of the same vehicle and inter-class similarity between different vehicles and how to associate the same vehicle accurately across different cameras under large search space. Previous methods for MTMCT usually use hierarchical clustering of trajectories to conduct cross camera association. However, the search space can be large and does not take spatial and temporal information into consideration. In this paper, we proposed a transformer-based camera link model with spatial and temporal filtering to conduct cross camera tracking. Achieving 73.68% IDF1 on the Nvidia Cityflow V2 dataset test set, showing the effectiveness of our camera link model on multi-target multi-camera tracking.

研究动机与目标

• 为解决多目标多相机车辆跟踪（MTMCT）中搜索空间过大、类内差异大以及类间相似性高的挑战。
• 通过在相机关联模型中引入空间与时间约束，提升跨相机关联的准确性。
• 通过运动方向与过渡时间窗口过滤候选匹配，减少Re-ID中的误报。
• 利用基于Transformer的特征提取方法，获得更具判别性的外观特征，以提升车辆重识别性能。
• 通过将时空先验整合到统一跟踪框架中，超越现有基于层次聚类的方法在MTMCT中的表现。

提出的方法

• 采用基于Transformer的Re-ID模型提取具有判别性的外观特征，利用自注意力机制捕捉长距离依赖关系，且无需下采样。
• 应用时间掩码与方向掩码，基于车辆运动方向与时间一致性，过滤掉不合理的跨相机关联。
• 引入双向过渡时间窗口（BTT），限制车辆在相邻相机中可能出现的时间窗口，从而减少候选匹配数量。
• 相机关联模型使用外观特征之间的余弦距离进行轨迹关联，相似度阈值设为0.45，同时对轨迹长度进行过滤（2–2000帧）。
• 系统将单相机跟踪（SCT）与类似SORT的关联方法结合，利用外观与运动线索；随后在相机关联模型中进行Transformer增强的Re-ID及时空滤波。
• 在Re-ID训练过程中应用数据增强技术，包括颜色归一化、随机裁剪与随机翻转，以提升模型鲁棒性。

Figure 1: The framework of the transformer-based ReID model from [ 3 ] . The BNNeck is introduced inspired by [ 11 ] .

实验结果

研究问题

• RQ1 与基于CNN的模型相比，基于Transformer的Re-ID模型是否能在多相机车辆跟踪中提升外观特征的判别能力？
• RQ2 在MTMCT中，引入时空滤波如何缩小跨相机关联的搜索空间？
• RQ3 时间掩码与方向掩码在多相机车辆跟踪中对IDF1的提升程度如何？
• RQ4 通过建模车辆在相机网络中的运动，双向过渡时间窗口是否能进一步提升关联准确性？
• RQ5 在真实世界数据集上，所提出的相机关联模型与基于层次聚类的基线方法相比，在IDF1与鲁棒性方面表现如何？

主要发现

• 所提方法在CityFlowV2测试集上取得73.68%的IDF1分数，显著优于基线方法（34.74% IDF1）。
• 引入时间与方向掩码（TDM）后，IDF1提升22.35个百分点，证明了时空滤波的有效性。
• 在基线基础上集成双向过渡时间窗口（BTT）后，IDF1进一步提升26.59个百分点，达到当前最先进性能。
• 在2020年AI City Challenge的城市场景MTMC车辆跟踪赛道中，该系统IDF1为73.68%，优于所有其他参赛队伍（第二名队伍为45.85%）。
• 在2021年AI City Challenge中，该方法总排名第四，IDF1为73.68%，仅落后于三家得分更高的队伍。
• 消融实验表明，时空滤波显著减少了误报关联，使最终系统的ID精确率（67.73%）与ID召回率（80.77%）均得到提升。

Figure 2: Vehicles detected entering the intersection while the traffic light is red will be matched with trajectories in the current camera. On the other hand, vehicles leaving the camera’s field of view through the green traffic zone will be matched with trajectories in the next adjacent camera.