[论文解读] Visual Object Tracking on Multi-modal RGB-D Videos: A Review

Xue‐Feng Zhu, Tianyang Xu+1 more|arXiv (Cornell University)|Jan 23, 2022

Video Surveillance and Tracking Methods被引用 6

一句话总结

本综述对多模态RGB-D视频中的视觉目标跟踪进行了全面分析，总结了现有的基准数据集、性能度量标准以及跟踪算法。文章强调了深度信息在遮挡和长期跟踪场景下提升鲁棒性的作用，主要贡献包括对数据集的系统性表征、方法分类，以及未来研究方向，如改进多模态特征融合与自监督学习在RGB-D跟踪中的应用。

ABSTRACT

The development of visual object tracking has continued for decades. Recent years, as the wide accessibility of the low-cost RGBD sensors, the task of visual object tracking on RGB-D videos has drawn much attention. Compared to conventional RGB-only tracking, the RGB-D videos can provide more information that facilitates objecting tracking in some complicated scenarios. The goal of this review is to summarize the relative knowledge of the research filed of RGB-D tracking. To be specific, we will generalize the related RGB-D tracking benchmarking datasets as well as the corresponding performance measurements. Besides, the existing RGB-D tracking methods are summarized in the paper. Moreover, we discuss the possible future direction in the field of RGB-D tracking.

研究动机与目标

• 系统总结现有的RGB-D跟踪基准数据集及其性能评估度量标准。
• 基于深度信息的使用方式与跟踪机制，对最先进RGB-D跟踪算法进行分类与分析。
• 识别当前RGB-D跟踪方法在特征融合与模态不平衡方面的局限性。
• 提出未来研究方向，包括自监督学习与三维点云融合，以提升鲁棒性与性能。

提出的方法

• 将RGB-D跟踪方法分为三类：(1) 采用基于深度的遮挡检测机制改进短时RGB跟踪器；(2) 将经典跟踪器（如均值漂移）扩展至三维点云处理；(3) 利用合成RGB-D数据进行端到端离线训练的模型。
• 应用增强深度分割的判别相关滤波（DCF）方法，以实现遮挡推理与重新检测。
• 采用分层多模态特征融合方法，以保留空间与外观信息的方式融合RGB与深度特征。
• 在长期跟踪中实现三维目标重建，以建模随时间变化的外观特性。
• 采用自监督数据增强技术，从现有RGB跟踪数据集生成合成RGB-D视频，用于深度神经网络的训练。
• 集成从RGB-D数据中提取的三维点云处理方法，以增强三维空间感知能力与跟踪稳定性。

实验结果

研究问题

• RQ1 现有RGB-D跟踪数据集在视频内容、标注方式与跟踪难度方面有何差异？
• RQ2 在视觉跟踪中，RGB与深度模态的最有效融合策略是什么？其对性能有何影响？
• RQ3 在遮挡与长期跟踪场景下，引入深度信息在多大程度上提升了跟踪鲁棒性？
• RQ4 训练深度RGB-D跟踪器面临的主要挑战是什么？自监督或数据增强技术如何缓解数据稀缺问题？
• RQ5 与仅使用二维深度图相比，从RGB-D数据中提取的三维点云表示在多大程度上能提升跟踪性能？

主要发现

• DepthTrack数据集包含200段视频，共294,600帧，是目前最大的可用RGB-D跟踪基准，支持长期跟踪评估。
• 基于端到端离线训练的RGB-D跟踪器（如DeT）通过利用单目深度预测生成的合成RGB-D数据，实现了最先进性能。
• 配备重新检测模块的长期跟踪机制在CDTB与DepthTrack等数据集上显著提升了性能，尤其在处理目标消失与重新出现时表现更优。
• 通过分层或自适应方法融合RGB与深度特征，相比仅用深度信息进行遮挡检测，能获得更高的跟踪精度与鲁棒性。
• 利用RGB-D数据生成的三维点云可更有效地处理复杂遮挡，并提升跟踪中的空间推理能力。
• 尽管已有进展，大多数RGB-D跟踪器仍未能充分发挥多模态信息的潜力，尤其在特征学习与对称融合方面，表明亟需更先进的融合架构。