[论文解读] PatchTrack: Multiple Object Tracking Using Frame Patches

Xiaotong Chen, Seyed Mehdi Iranmanesh+1 more|arXiv (Cornell University)|Jan 1, 2022

Video Surveillance and Tracking Methods被引用 12

一句话总结

PatchTrack 是一种基于 Transformer 的联合检测与跟踪系统，通过利用当前帧的图像块来增强运动和外观建模，从而提升多目标跟踪性能。它利用卡尔曼滤波预测的轨迹位置裁剪帧图像块，再将这些图像块与轨迹查询结合生成图像块-轨迹查询，实现了在 MOT16（MOTA 73.71%）和 MOT17（MOTA 73.59%）上的最先进性能。

ABSTRACT

Object motion and object appearance are commonly used information in multiple object tracking (MOT) applications, either for associating detections across frames in tracking-by-detection methods or direct track predictions for joint-detection-and-tracking methods. However, not only are these two types of information often considered separately, but also they do not help optimize the usage of visual information from the current frame of interest directly. In this paper, we present PatchTrack, a Transformer-based joint-detection-and-tracking system that predicts tracks using patches of the current frame of interest. We use the Kalman filter to predict the locations of existing tracks in the current frame from the previous frame. Patches cropped from the predicted bounding boxes are sent to the Transformer decoder to infer new tracks. By utilizing both object motion and object appearance information encoded in patches, the proposed method pays more attention to where new tracks are more likely to occur. We show the effectiveness of PatchTrack on recent MOT benchmarks, including MOT16 (MOTA 73.71%, IDF1 65.77%) and MOT17 (MOTA 73.59%, IDF1 65.23%). The results are published on https://motchallenge.net/method/MOT=4725&chl=10.

研究动机与目标

• 解决现有基于 Transformer 的 MOT 方法过度依赖前一帧外观特征的局限性。
• 通过整合当前帧图像块中的实时视觉信息，提升跟踪鲁棒性。
• 通过结合运动先验与当前帧外观线索，减少 ID 切换和误报。
• 提出一种新型查询机制——图像块-轨迹查询，融合运动信息与当前帧外观，实现更优定位。
• 证明使用当前帧图像块可显著提升跟踪性能，优于仅依赖轨迹查询或检测独享范式。

提出的方法

• 使用卡尔曼滤波器，基于前一帧中轨迹的状态，预测当前帧中现有轨迹的位置。
• 利用卡尔曼滤波器预测的边界框从当前帧中裁剪出图像块。
• 通过 CNN 主干网络处理完整帧以提取帧特征，同时处理裁剪出的图像块以生成图像块查询。
• 将来自前一帧输出嵌入的每个轨迹查询与其对应的图像块查询（来自当前帧图像块）结合，形成图像块-轨迹查询。
• 将图像块-轨迹查询与对象查询输入 Transformer 解码器，联合预测轨迹位置并检测新目标。
• 使用匈牙利算法和卡尔曼滤波器进行后处理，以优化轨迹关联并处理遮挡情况。

实验结果

研究问题

• RQ1 在联合检测与跟踪模型中，整合当前帧图像块的视觉特征是否能提升跟踪性能？
• RQ2 与仅依赖轨迹查询相比，结合运动先验与当前帧外观线索是否能减少 ID 切换和误报？
• RQ3 与标准轨迹查询或仅检测基线相比，使用融合运动与当前帧外观的图像块-轨迹查询有何性能差异？
• RQ4 图像块来源（当前帧 vs. 前一帧）对模型性能与鲁棒性有何影响？
• RQ5 基于图像块的查询机制是否能在 MOTA 和 IDF1 指标上超越现有基于 Transformer 的 MOT 方法，同时减少误报？

主要发现

• 在 MOT16 测试集上，PatchTrack 实现了 MOTA 73.71% 和 IDF1 65.77%，在主流基准上表现强劲。
• 在 MOT17 上，PatchTrack 实现了 MOTA 73.59% 和 IDF1 65.23%，位列顶尖方法，且误报显著更少。
• 消融实验表明，若移除图像块-轨迹查询，性能下降；而检测-跟踪变体的 ID 切换次数更多（200 vs. 192），证实了联合建模的优势。
• 使用当前帧图像块与前一帧边界框进行匹配会降低性能（MOTA 62.8%），表明错位会损害特征质量。
• PatchTrack 在误报数量上优于 TransTrack（不足其 50%），同时保持相近的 MOTA，表明其精度更高且重复轨迹更少。
• 可视化结果证实，与 TransTrack 相比，PatchTrack 显著减少了 ID 切换，并在完全遮挡后重新进入时表现更优。