[论文解读] RGB-T Object Tracking:Benchmark and Baseline

Chenglong Li, Xinyan Liang+3 more|arXiv (Cornell University)|May 23, 2018

Video Surveillance and Tracking Methods参考文献 48被引用 14

一句话总结

本文提出了 RGBT234，一个大规模的 RGB-T 跟踪基准，包含 234K 帧，具备高精度的模态对齐和遮挡标注。提出了一种基于图的追踪器（SGT），通过分块级别的图结构和自适应融合学习动态目标表征，在遮挡、低光照和相机运动等挑战性场景中优于最先进方法。

ABSTRACT

RGB-Thermal (RGB-T) object tracking receives more and more attention due to the strongly complementary benefits of thermal information to visible data. However, RGB-T research is limited by lacking a comprehensive evaluation platform. In this paper, we propose a large-scale video benchmark dataset for RGB-T tracking.It has three major advantages over existing ones: 1) Its size is sufficiently large for large-scale performance evaluation (total frame number: 234K, maximum frame per sequence: 8K). 2) The alignment between RGB-T sequence pairs is highly accurate, which does not need pre- or post-processing. 3) The occlusion levels are annotated for occlusion-sensitive performance analysis of different tracking algorithms.Moreover, we propose a novel graph-based approach to learn a robust object representation for RGB-T tracking. In particular, the tracked object is represented with a graph with image patches as nodes. This graph including graph structure, node weights and edge weights is dynamically learned in a unified ADMM (alternating direction method of multipliers)-based optimization framework, in which the modality weights are also incorporated for adaptive fusion of multiple source data.Extensive experiments on the large-scale dataset are executed to demonstrate the effectiveness of the proposed tracker against other state-of-the-art tracking methods. We also provide new insights and potential research directions to the field of RGB-T object tracking.

研究动机与目标

• 解决 RGB-T 目标追踪缺乏全面、大规模评估平台的问题。
• 克服现有数据集的局限性，如规模小、模态对齐不准确以及属性标注不足。
• 提供一个标准化基准，以实现 RGB-T 跟踪算法的大规模、可靠评估。
• 研究在挑战性条件下实现鲁棒追踪的有效融合策略和特征表征技术。
• 为提升 RGB-T 跟踪性能的关键组件（如自适应融合和背景抑制）提供新见解。

提出的方法

• 提出 RGBT234，一个大规模视频基准，包含 234 个 RGB-T 视频序列（共 234K 帧，每条序列最多 8K 帧）。
• 引入一种基于图的对象表征方法，其中图像块作为节点，图结构、节点权重和边权重通过基于 ADMM 的优化方法动态学习。
• 将模态权重引入优化框架，实现 RGB 和热成像特征的自适应融合。
• 使用结构化 SVM 进行在线追踪，结合分块级特征表征和学习到的权重，以抑制背景污染。
• 采用半监督学习（如流形排序）根据空间和外观相似性计算分块权重。
• 应用统一的 ADMM 框架，联合优化图结构、节点/边权重以及模态融合系数。

实验结果

研究问题

• RQ1 RGB-T 追踪器在遮挡、低光照和相机运动等多样化挑战性属性下的性能表现如何？
• RQ2 与直接拼接或固定权重融合相比，RGB 和热成像模态的自适应融合对追踪鲁棒性有何影响？
• RQ3 加权分块表征和基于图的建模在多大程度上提升了追踪精度并减少了模型漂移？
• RQ4 非深度学习方法（如 SGT）在处理低分辨率或形变目标时，与深度学习追踪器相比效果如何？
• RQ5 在提升 RGB-T 跟踪性能方面，哪些组件——自适应融合、背景抑制还是强大特征学习——最为关键？

主要发现

• 在低光照、部分遮挡和背景杂乱条件下，热成像数据显著提升了追踪性能，尤其对小目标或形变目标效果更明显。
• 所提出的 SGT 追踪器在多种属性（包括遮挡、相机运动和背景杂乱）下均优于最先进方法。
• 通过学习模态权重实现的 RGB 与热成像模态自适应融合，性能始终更优；而直接融合（如 CFnet+RGBT）通常表现较差。
• 加权分块表征（如 SGT、SOWP+RGBT）能有效抑制背景干扰并减少模型漂移。
• 基于深度学习的追踪器（如 ECO、C-COT）由于具备判别性特征学习能力，在处理尺度变化和运动模糊方面表现更优。
• 通过分块加权和分割掩码实现的背景抑制，相比简单的特征拼接，在复杂场景中更为有效。