[论文解读] VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows

Xiao Wang, Jianing Li+7 more|arXiv (Cornell University)|Aug 11, 2021

Advanced Memory and Neural Computing参考文献 73被引用 20

一句话总结

本文提出了 VisEvent，一个用于可见光-事件视频追踪的大规模基准数据集，并引入了一种跨模态Transformer（CMT）以融合RGB相机与事件相机的特征。通过结合两种传感器的互补优势——可见光相机提供纹理信息，事件相机提升运动鲁棒性，该方法在VisEvent基准上实现了最先进性能，成功率为0.430，精确率为0.632。

ABSTRACT

Different from visible cameras which record intensity images frame by frame, the biologically inspired event camera produces a stream of asynchronous and sparse events with much lower latency. In practice, visible cameras can better perceive texture details and slow motion, while event cameras can be free from motion blurs and have a larger dynamic range which enables them to work well under fast motion and low illumination. Therefore, the two sensors can cooperate with each other to achieve more reliable object tracking. In this work, we propose a large-scale Visible-Event benchmark (termed VisEvent) due to the lack of a realistic and scaled dataset for this task. Our dataset consists of 820 video pairs captured under low illumination, high speed, and background clutter scenarios, and it is divided into a training and a testing subset, each of which contains 500 and 320 videos, respectively. Based on VisEvent, we transform the event flows into event images and construct more than 30 baseline methods by extending current single-modality trackers into dual-modality versions. More importantly, we further build a simple but effective tracking algorithm by proposing a cross-modality transformer, to achieve more effective feature fusion between visible and event data. Extensive experiments on the proposed VisEvent dataset, FE108, COESOT, and two simulated datasets (i.e., OTB-DVS and VOT-DVS), validated the effectiveness of our model. The dataset and source code have been released on: \url{https://github.com/wangxiao5791509/VisEvent_SOT_Benchmark}.

研究动机与目标

• 解决在低照度、高速度和背景杂乱等挑战性条件下，可见光-事件视频追踪缺乏真实且大规模数据集的问题。
• 开发一种双模态追踪框架，有效融合可见光与事件数据，以提升追踪鲁棒性。
• 设计一种简单但高效的跨模态Transformer模块，用于RGB与事件模态之间交互式特征学习与融合。
• 建立一个全面的基准与基线方法，以支持神经形态视觉追踪的系统性评估与持续进步。
• 在多个数据集与场景下，证明所提方法相较于现有单模态与双模态追踪器的优越性。

提出的方法

• 提出VisEvent，一个大规模基准，包含820对视频（500对用于训练，320对用于测试），使用DVS与RGB相机在低光照、高速度和杂乱环境下采集。
• 通过在固定时间窗口内堆叠事件流，将事件流转换为事件图像，以支持与深度学习模型的集成。
• 采用拼接、逐元素相加和1×1卷积融合策略，将30多个单模态追踪器扩展为双模态版本。
• 设计一种跨模态Transformer（CMT）模块，实现可见光与事件特征之间的双向特征交互与基于注意力的融合。
• 在CMT中使用交叉注意力机制，动态加权模态间相关特征，增强追踪的表征学习能力。
• 在VisEvent、FE108、COESOT以及模拟数据集（OTB-DVS、VOT-DVS）上评估模型，以验证其鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 能否有效构建一个大规模、真实的可见光-事件视频追踪基准，以支持双模态追踪方法的系统性评估？
• RQ2 在低光照、高速度和杂乱环境下，可见光与事件模态特征的融合对追踪性能有何影响？
• RQ3 在双模态追踪中，哪种特征融合策略——拼接、相加或基于注意力的机制——能取得最佳性能？
• RQ4 跨模态Transformer模块能否有效学习并利用可见光与事件数据之间的互补信息，以提升追踪精度？
• RQ5 所提方法在真实世界与模拟数据集（包括VisEvent与现有基准）上的泛化能力如何？

主要发现

• 所提出的VisEvent基准包含820对视频，采集自真实低光照、高速度与杂乱场景，为双模态追踪提供了全面的测试平台。
• 在多种融合策略中，特征拼接表现最佳，在VisEvent测试集上成功率为0.426，精确率为0.627。
• 跨模态Transformer（CMT）在VisEvent上实现了0.430的成功率与0.632的精确率，优于所有基线方法及现有SOTA追踪器。
• 基于CMT的追踪器在处理运动模糊、低照度与快速运动方面表现出更优的鲁棒性，经定性可视化验证。
• 在快速移动的小物体（如棒球）与重叠事件流（如移动的星星）等场景中观察到失败案例，表明当前事件图像表征仍存在局限。
• 研究证实，事件相机显著提升了在挑战性视觉条件下的追踪性能，尤其在与可见光数据通过有效融合结合时。