[论文解读] Multi-Task Driven Feature Models for Thermal Infrared Tracking

Qiao Liu, Xin Li+5 more|arXiv (Cornell University)|Nov 26, 2019

Video Surveillance and Tracking Methods参考文献 35被引用 8

一句话总结

本文提出了一种用于热成像（TIR）目标跟踪的多任务驱动特征学习框架，通过分类分支引入TIR特定的判别性特征，并通过整体与像素级相关性模块提取细粒度相关性特征。该方法在新构建的大规模TIR数据集上，在VOT-TIR2015、VOT-TIR2017和PTB-TIR基准上实现了相对于基线跟踪器10%的相对性能提升，并达到最先进水平。

ABSTRACT

Existing deep Thermal InfraRed (TIR) trackers usually use the feature models of RGB trackers for representation. However, these feature models learned on RGB images are neither effective in representing TIR objects nor taking fine-grained TIR information into consideration. To this end, we develop a multi-task framework to learn the TIR-specific discriminative features and fine-grained correlation features for TIR tracking. Specifically, we first use an auxiliary classification network to guide the generation of TIR-specific discriminative features for distinguishing the TIR objects belonging to different classes. Second, we design a fine-grained aware module to capture more subtle information for distinguishing the TIR objects belonging to the same class. These two kinds of features complement each other and recognize TIR objects in the levels of inter-class and intra-class respectively. These two feature models are learned using a multi-task matching framework and are jointly optimized on the TIR tracking task. In addition, we develop a large-scale TIR training dataset to train the network for adapting the model to the TIR domain. Extensive experimental results on three benchmarks show that the proposed algorithm achieves a relative gain of 10% over the baseline and performs favorably against the state-of-the-art methods. Codes and the proposed TIR dataset are available at {https://github.com/QiaoLiuHit/MMNet}.

研究动机与目标

• 为解决基于RGB的深度特征在热成像（TIR）跟踪中对TIR特定目标表征无效的问题。
• 通过学习能够区分类间与类内对象的特征，提升TIR跟踪中的判别能力。
• 构建一种多任务学习框架，联合优化TIR特定判别性特征与细粒度相关性特征，以增强跟踪鲁棒性。
• 构建一个大规模、高质量的TIR视频数据集，包含30个类别、1,100多个视频序列以及超过45万个标注帧，以更好地使深度模型适应TIR领域。

提出的方法

• 设计了一种多任务匹配框架，联合优化两个互补的特征学习分支：一个用于TIR特定判别性特征，另一个用于细粒度相关性特征。
• 引入辅助分类网络，以指导TIR特定判别性特征的学习，从而增强不同TIR物体类别之间的类间区分能力。
• 提出一种细粒度感知网络，结合整体相关性模块与像素级相关性模块，以捕捉细节空间关系，实现类内区分。
• 通过多类别分类损失优化TIR特定判别性特征，而细粒度相关性特征则在多任务框架中通过匹配损失进行学习。
• 构建了一个大规模TIR数据集，包含30个类别、超过1,100个视频序列、450,000帧以及530,000个标注边界框，以在TIR领域有效训练模型。
• 采用混合训练策略进行模型训练，即使在RGB数据上预训练，也能实现强大的泛化能力。

实验结果

研究问题

• RQ1 多任务学习框架能否有效结合TIR特定判别性特征与细粒度相关性特征，从而提升跟踪性能？
• RQ2 所提出的TIR特定特征模型在热成像数据上的判别能力与基于RGB预训练的特征相比如何？
• RQ3 大规模、领域特定的TIR数据集在多大程度上提升了深度TIR跟踪器的泛化能力与鲁棒性？
• RQ4 在遮挡与外观变化等挑战性条件下，所提方法能否超越最先进的基于匹配与相关滤波的TIR跟踪器？
• RQ5 细粒度相关性特征的引入是否显著提升了对同一类别中相似干扰物的区分能力？

主要发现

• 在PTB-TIR基准上，所提方法相比基线跟踪器实现了10%的相对成功率提升，表现出显著改进。
• 在VOT-TIR2017上，该方法取得了0.320的最佳EAO得分，优于所有最先进方法，包括TCNN与ECO-deep。
• 在VOT-TIR2015上，该方法取得了0.344的EAO得分，为所有对比跟踪器中的最高分，表明其具有卓越的鲁棒性。
• 在PTB-TIR上，该方法的成功率为0.539，精度为0.759，相比CFNet实现了10%的相对成功率提升。
• 即使在未使用任何TIR数据训练的模型（MMNet-VID）中，其成功率仍比CFNet高出6%，表明多任务架构具有强大的泛化能力。
• 在VOT-TIR2017的动态变化挑战中，该方法相比CFNet实现了9.3%的EAO得分提升；在相机运动挑战中提升了4.2%，证实了其鲁棒性的增强。