[论文解读] TubeTK: Adopting Tubes to Track Multi-Object in a One-Step Training Model

Bo Pang, Yizhuo Li+3 more|arXiv (Cornell University)|Jun 10, 2020

Video Surveillance and Tracking Methods参考文献 45被引用 10

一句话总结

TubeTK 提出了一种单阶段、端到端的多目标跟踪模型，通过回归三维边界管（Btubes）来联合编码空间和时间上的目标位置与运动轨迹。通过利用3D卷积神经网络提取时空特征，而无需依赖外部检测或手工设计的特征，TubeTK 在多目标跟踪基准上实现了最先进性能，优于使用私有检测结果的方法，并在遮挡情况下表现出更强的鲁棒性，且误检率更低。

ABSTRACT

Multi-object tracking is a fundamental vision problem that has been studied for a long time. As deep learning brings excellent performances to object detection algorithms, Tracking by Detection (TBD) has become the mainstream tracking framework. Despite the success of TBD, this two-step method is too complicated to train in an end-to-end manner and induces many challenges as well, such as insufficient exploration of video spatial-temporal information, vulnerability when facing object occlusion, and excessive reliance on detection results. To address these challenges, we propose a concise end-to-end model TubeTK which only needs one step training by introducing the ``bounding-tube" to indicate temporal-spatial locations of objects in a short video clip. TubeTK provides a novel direction of multi-object tracking, and we demonstrate its potential to solve the above challenges without bells and whistles. We analyze the performance of TubeTK on several MOT benchmarks and provide empirical evidence to show that TubeTK has the ability to overcome occlusions to some extent without any ancillary technologies like Re-ID. Compared with other methods that adopt private detection results, our one-stage end-to-end model achieves state-of-the-art performances even if it adopts no ready-made detection results. We hope that the proposed TubeTK model can serve as a simple but strong alternative for video-based MOT task. The code and models are available at https://github.com/BoPang1996/TubeTK.

研究动机与目标

• 为解决两阶段检测跟踪（TBD）框架的局限性，这些框架依赖检测质量、遮挡处理能力差，且时空特征学习不连贯。
• 开发一种简单、端到端的单阶段训练范式，以更有效地整合空间和时间信息。
• 在保持或提升跟踪性能的同时，消除对外部检测模型、Re-ID、光流或其他辅助特征的依赖。
• 证明一个紧凑的、全卷积的3D CNN 模型无需额外技巧即可在多目标跟踪中实现最先进性能。

提出的方法

• 提出‘边界管’（Btubes）作为三维时空提议的概念，通过在2D空间和1D时间维度上定义15个点来表示目标轨迹。
• 采用3D CNN 主干网络，直接从视频片段中提取联合空间-时间特征，替代独立的检测和跟踪阶段。
• 采用无锚点、基于FPN的检测头，端到端回归Btubes，实现在单次前向传播中直接预测目标轨迹。
• 使用简单的IoU后处理步骤将预测的Btubes链接为最终的跟踪身份，链接阶段无可学习参数。
• 利用Btubes中固有的运动一致性，在目标遮挡期间提升鲁棒性，无需Re-ID或外观建模。
• 以单一端到端方式训练整个模型，避免对预训练检测器或辅助监督的依赖。

实验结果

研究问题

• RQ1 一个单阶段、端到端的深度学习模型能否在不依赖预训练目标检测器的情况下实现多目标跟踪的最先进性能？
• RQ2 与传统两阶段TBD方法相比，回归三维边界管的模型在严重目标遮挡情况下的表现如何？
• RQ3 基于3D CNN的模型在无手工特征（如光流、姿态、分割）的情况下，能否提取足够充分的时空特征以实现准确的多目标跟踪？
• RQ4 将Btubes作为轨迹先验是否能提升跟踪鲁棒性并减少遮挡期间的误检？
• RQ5 一个简单、全卷积的单阶段跟踪器能否超越使用Re-ID或私有检测结果的复杂多阶段跟踪器？

主要发现

• TubeTK 在MOT16上实现了66.9的新SOTA MOTA，甚至超越了使用私有检测结果和Re-ID特征的方法。
• 在MOT17上，TubeTK 达到64.0 MOTA，优于其他依赖公开检测结果的SOTA方法（54.5 MOTA），表明其在无辅助数据下的强大泛化能力。
• TubeTK 显著减少了遮挡期间的误检（FN）——尤其在可见度低于50%时——表明其对目标遮挡具有更强的鲁棒性。
• 链接过程对噪声Btube预测具有高度鲁棒性，即使中心位置或尺度有25%的抖动，MOTA仍保持在86以上，证明了后处理流程的稳定性。
• 尽管ID切换（IDS）较高，TubeTK 仍保持了具有竞争力的IDF1，表明仅依靠Btube驱动的运动建模即可实现强大跟踪性能，无需外观特征。
• 消融实验确认，TubeTK的性能不依赖外部检测模型，即使仅使用公开检测结果，其性能也优于基于检测的SOTA方法。