[论文解读] Online Multi-Object Tracking with Unsupervised Re-Identification Learning and Occlusion Estimation

Qiankun Liu, Dongdong Chen+5 more|arXiv (Cornell University)|Jan 4, 2022

Video Surveillance and Tracking Methods被引用 5

一句话总结

该论文提出了一种在线多目标跟踪框架，结合无监督重识别学习与遮挡估计，以解决因遮挡导致的跟踪漂移和目标丢失问题。通过利用相邻帧之间的无监督匹配损失，并预测遮挡图以恢复丢失的目标，该方法在无需身份标注的情况下实现了最先进性能，在使用私有检测器的MOT20数据集上优于监督基线方法。

ABSTRACT

Occlusion between different objects is a typical challenge in Multi-Object Tracking (MOT), which often leads to inferior tracking results due to the missing detected objects. The common practice in multi-object tracking is re-identifying the missed objects after their reappearance. Though tracking performance can be boosted by the re-identification, the annotation of identity is required to train the model. In addition, such practice of re-identification still can not track those highly occluded objects when they are missed by the detector. In this paper, we focus on online multi-object tracking and design two novel modules, the unsupervised re-identification learning module and the occlusion estimation module, to handle these problems. Specifically, the proposed unsupervised re-identification learning module does not require any (pseudo) identity information nor suffer from the scalability issue. The proposed occlusion estimation module tries to predict the locations where occlusions happen, which are used to estimate the positions of missed objects by the detector. Our study shows that, when applied to state-of-the-art MOT methods, the proposed unsupervised re-identification learning is comparable to supervised re-identification learning, and the tracking performance is further improved by the proposed occlusion estimation module.

研究动机与目标

• 为解决在线多目标跟踪中因目标被严重遮挡而导致检测器漏检的问题。
• 通过基于相邻帧间外观一致性的无监督学习方法，消除重识别任务中昂贵的身份标注需求。
• 通过专用的遮挡估计模块预测遮挡位置，主动恢复因遮挡而丢失的目标。
• 在不依赖监督Re-ID或复杂数据流水线的前提下，提升实时在线跟踪系统的鲁棒性与准确性。

提出的方法

• 引入无监督重识别学习模块，利用两帧之间的匹配损失，避免对身份标签或分类头的依赖。
• 损失函数促使同一身份在连续帧中的特征嵌入保持相似，同时拉远不同身份或场景的特征。
• 采用孪生网络架构结合对比学习，实现无身份监督下的判别性特征学习。
• 提出遮挡估计模块，用于预测当前帧中目标之间潜在的遮挡位置。
• 利用预测的遮挡图，在目标重新出现时估计其可能位置，从而指导丢失目标的重识别。
• 以即插即用的方式将两个模块集成到现有在线MOT框架（如FairMOT和CenterTrack）中，支持端到端训练。

实验结果

研究问题

• RQ1 无监督重识别学习是否能在无需身份标注的情况下实现与监督Re-ID相当的性能？
• RQ2 预测遮挡位置是否能提升对被检测器漏检的严重遮挡目标的恢复能力？
• RQ3 所提框架在具有实时推理约束的在线跟踪设置下表现如何？
• RQ4 无监督Re-ID与遮挡估计的结合是否能带来MOTA和IDF1等跟踪指标的提升？

主要发现

• 所提出的无监督Re-ID学习在FairMOT上实现了与监督Re-ID相当的性能，在使用私有检测器的MOT20上，IDF1低2.1%，但MOTA表现更优。
• OTrack_ct（基于CenterTrack的追踪器，集成双模块）在MOT17上使用公开检测时，MOTA较基线提升2.4%；使用私有检测时提升1.2%。
• 遮挡估计模块显著降低了误报数（FN），即使目标被严重遮挡且未被检测到，也能实现有效恢复。
• 尽管因目标重新定位导致误报数（FP）有所增加，但因FN大幅下降和召回率提升，整体跟踪性能仍得到改善。
• 在使用私有检测的MOT20上，OUTrack_fm优于FairMOT，尽管其预训练数据更少且Re-ID部分无身份监督。
• 由于在CrowdHuman上进行预训练以及Re-ID模块的无监督特性，该方法在不同数据集上泛化能力良好，尤其在人群场景中表现优异。