[论文解读] Siamese Tracking with Lingual Object Constraints

Maximilian Filtenborg, Efstratios Gavves+1 more|arXiv (Cornell University)|Nov 23, 2020

Video Surveillance and Tracking Methods参考文献 26被引用 4

一句话总结

本文提出了一种新颖的视觉追踪框架，通过引入自然语言约束（如“靠近一辆黄色汽车”）来过滤并定位视频中的目标物体。通过在 SiamRPN++ 上扩展视觉-语言注意力机制与金字塔池化模块，所提出的 SiamCT-CA 模型在两个新的基准数据集 c-MOT16 和 c-LaSOT 上实现了最先进性能，实现了基于约束有效性的选择性视频压缩。

ABSTRACT

Classically, visual object tracking involves following a target object throughout a given video, and it provides us the motion trajectory of the object. However, for many practical applications, this output is often insufficient since additional semantic information is required to act on the video material. Example applications of this are surveillance and target-specific video summarization, where the target needs to be monitored with respect to certain predefined constraints, e.g., 'when standing near a yellow car'. This paper explores, tracking visual objects subjected to additional lingual constraints. Differently from Li et al., we impose additional lingual constraints upon tracking, which enables new applications of tracking. Whereas in their work the goal is to improve and extend upon tracking itself. To perform benchmarks and experiments, we contribute two datasets: c-MOT16 and c-LaSOT, curated through appending additional constraints to the frames of the original LaSOT and MOT16 datasets. We also experiment with two deep models SiamCT-DFG and SiamCT-CA, obtained through extending a recent state-of-the-art Siamese tracking method and adding modules inspired from the fields of natural language processing and visual question answering. Through experimental results, we show that the proposed model SiamCT-CA can significantly outperform its counterparts. Furthermore, our method enables the selective compression of videos, based on the validity of the constraint.

研究动机与目标

• 为解决经典视觉追踪仅提供运动轨迹而缺乏语义上下文的局限性，通过引入用户定义的自然语言约束。
• 使追踪系统能够选择性识别目标满足特定语言条件（如靠近某物体或执行某动作）的帧。
• 通过为 LaSOT 和 MOT16 添加自然语言注释，构建新的基于约束的追踪基准框架。
• 设计并评估能够联合推理视觉外观与语言描述的深度学习模型，以在约束条件下提升追踪性能。
• 展示利用约束感知追踪在监控和视频摘要等应用中的可行性，包括基于语义标准的选择性视频压缩。

提出的方法

• 在 SiamRPN++ 架构基础上引入受视觉问答（VQA）启发的多头自注意力机制，实现图像与文本模态的联合推理。
• 提出 SiamCT-CA 模型，采用 MCAN 架构实现语言约束与视觉特征之间的交叉注意力，增强语言与视觉内容之间的对齐。
• 引入金字塔池化模块（PPM）以聚合多尺度视觉特征，提升在约束追踪中对尺度变化的鲁棒性。
• 采用双分支孪生网络分别提取模板帧（初始目标帧）和搜索区域（当前帧）的特征，随后通过相关性计算实现定位。
• 使用可学习注意力机制，动态关注约束中的相关词汇及图像中对应的视觉区域，实现上下文感知追踪。
• 采用端到端训练策略，结合定位损失与对比损失用于约束定位，同时优化追踪精度与约束符合度。

实验结果

研究问题

• RQ1 通过引入描述目标环境或行为的自然语言约束，能否增强视觉追踪性能？
• RQ2 视觉-语言注意力机制在复杂语言条件下如何提升追踪的准确率与鲁棒性？
• RQ3 金字塔池化模块在多尺度与长时序追踪中对性能提升的贡献程度如何？
• RQ4 约束感知追踪能否支持实际应用，如基于语义标准的选择性视频压缩或摘要？
• RQ5 不同注意力机制（如自注意力与自引导注意力）如何影响模型根据语言描述精确定位目标的能力？

主要发现

• SiamCT-CA 模型在 c-MOT16 和 c-LaSOT 两个数据集上显著优于 SiamCT-DFG 与 SiamCT-CA+PPM，达到最高的平均精度与 AUC 分数。
• McNemar 检验确认 SiamCT-CA 与其变体之间的性能差异具有统计显著性，多数比较的 p 值 < 1e-99。
• 模型在特定词汇（如 'car' 和 'hand'）上表现优异，SiamCT-CA+PPM 在 'hand' 的 AP 上取得显著提升（优于其他词汇）。
• 注意力图显示，SiamCT-CA 主要关注关键约束词汇（如 'car'），而 SiamCT-CA+PPM 则更广泛地分布注意力，包括修饰词如 'black'。
• 消融实验表明，注意力机制与金字塔池化模块均对高性能至关重要，PPM 显著提升了跨尺度的特征聚合能力。
• 该框架可通过仅筛选满足语言约束的帧，实现有效的选择性视频压缩，展示了在实际应用中的实用价值。