[论文解读] Refinements in Motion and Appearance for Online Multi-Object Tracking

Piao Huang, Shoudong Han+5 more|arXiv (Cornell University)|Mar 16, 2020

Video Surveillance and Tracking Methods参考文献 31被引用 11

一句话总结

该论文提出MIF，一种新颖的架构，整合了运动建模、3D积分图像和自适应外观特征融合，用于在线多目标跟踪。通过联合建模行人和相机运动，利用3D积分图像施加空间约束以实现高效的数据关联，并自适应地融合外观特征以应对遮挡和错位问题，MIFT跟踪器在MOT16和MOT17基准上均实现了60.1的MOTA，达到当前最先进性能。

ABSTRACT

Modern multi-object tracking (MOT) system usually involves separated modules, such as motion model for location and appearance model for data association. However, the compatible problems within both motion and appearance models are always ignored. In this paper, a general architecture named as MIF is presented by seamlessly blending the Motion integration, three-dimensional(3D) Integral image and adaptive appearance feature Fusion. Since the uncertain pedestrian and camera motions are usually handled separately, the integrated motion model is designed using our defined intension of camera motion. Specifically, a 3D integral image based spatial blocking method is presented to efficiently cut useless connections between trajectories and candidates with spatial constraints. Then the appearance model and visibility prediction are jointly built. Considering scale, pose and visibility, the appearance features are adaptively fused to overcome the feature misalignment problem. Our MIF based tracker (MIFT) achieves the state-of-the-art accuracy with 60.1 MOTA on both MOT16&17 challenges.

研究动机与目标

• 解决多目标跟踪系统中分离运动与外观模型的局限性。
• 通过整合行人和相机运动模型，提升轨迹连续性和鲁棒性。
• 通过使用3D积分图像施加空间约束，降低数据关联的计算成本。
• 通过一种遮挡感知的外观模型，缓解由遮挡、尺度变化和姿态改变引起的特征错位问题。
• 使所提出的框架可扩展至检测任务，通过共享建模组件提升检测性能。

提出的方法

• 提出一种新型运动强度度量的运动融合模型，以联合处理非刚性行人运动和刚性相机运动。
• 应用3D积分图像将检测位置编码为一个热力特征图，实现常数时间的空间滤波，用于数据关联。
• 设计一种遮挡感知的外观模型，可估计可见性并根据尺度、姿态和时间间隔自适应调整特征融合。
• 通过测量历史轨迹特征与新检测特征之间的差异，结合可见性、尺度、姿态和时间间隔，实现自适应外观特征融合。
• 将MIF框架集成至跟踪器（MIFT）中，并通过与Faster R-CNN主干网络结合FPN，扩展为检测器（MIFD）。
• 利用3D积分图像在关联过程中高效剪枝无关的检测-轨迹对，减少搜索空间而不损失准确性。

实验结果

研究问题

• RQ1 如何有效整合行人和相机运动，以在复杂场景中提升轨迹估计性能？
• RQ2 通过3D积分图像施加空间约束，是否能显著降低在线MOT中数据关联的计算成本？
• RQ3 在多目标跟踪中，如何有效缓解由遮挡、尺度和姿态变化引起的外观特征错位问题？
• RQ4 当MIF框架在跟踪与检测任务间共享时，其对两者性能的提升程度如何？
• RQ5 对运动与外观进行联合建模是否能带来可测量的跟踪精度提升，特别是在相机快速运动或严重遮挡的挑战性序列中？

主要发现

• MIFT跟踪器在MOT16和MOT17基准上均实现了SOTA的60.1 MOTA，优于所有现有在线跟踪器。
• 该跟踪器在多个指标上表现优异，包括IDF1、MT（大部分跟踪）、ML（大部分丢失）和FN（误报），表明轨迹连续性和鲁棒性显著提升。
• 使用3D积分图像将数据关联的时间复杂度降低至常数时间，与Tracktor等基线方法相比，显著加速了跟踪器。
• 基于MIF的检测器（MIFD）实现了具有竞争力的检测性能，mAP为0.88，MODA为67.4，召回率为92.6%，在多数指标上优于非MIF基线FRCNN+FPN。
• 在MOT17-14（快速移动相机）和MOT17-03（人群密集场景）等挑战性序列中，跟踪器仍保持高精度，展现出对非规则运动和遮挡的强鲁棒性。
• 自适应外观特征融合机制有效降低了噪声或错位特征的影响，尤其在部分遮挡和视角变化条件下表现突出。