[论文解读] SiamEvent: Event-based Object Tracking via Edge-aware Similarity Learning with Siamese Networks

Yujeong Chae, Lin Wang+1 more|arXiv (Cornell University)|Sep 28, 2021

Advanced Memory and Neural Computing参考文献 49被引用 4

一句话总结

SiamEvent 提出了一种基于孪生网络的事件驱动目标跟踪框架，通过边缘感知相似性学习，在动态和静态场景中实现目标跟踪，包括高动态范围（HDR）和运动模糊场景。通过在两个时间戳上关联嵌入的事件特征以计算边缘相似性，该方法在真实世界和合成数据集上相比最先进基线模型实现了最高15%的性能提升。

ABSTRACT

Event cameras are novel sensors that perceive the per-pixel intensity changes and output asynchronous event streams, showing lots of advantages over traditional cameras, such as high dynamic range (HDR) and no motion blur. It has been shown that events alone can be used for object tracking by motion compensation or prediction. However, existing methods assume that the target always moves and is the stand-alone object. Moreover, they fail to track the stopped non-independent moving objects on fixed scenes. In this paper, we propose a novel event-based object tracking framework, called SiamEvent, using Siamese networks via edge-aware similarity learning. Importantly, to find the part having the most similar edge structure of target, we propose to correlate the embedded events at two timestamps to compute the target edge similarity. The Siamese network enables tracking arbitrary target edge by finding the part with the highest similarity score. This extends the possibility of event-based object tracking applied not only for the independent stand-alone moving objects, but also for various settings of the camera and scenes. In addition, target edge initialization and edge detector are also proposed to prevent SiamEvent from the drifting problem. Lastly, we built an open dataset including various synthetic and real scenes to train and evaluate SiamEvent. Extensive experiments demonstrate that SiamEvent achieves up to 15% tracking performance enhancement than the baselines on the real-world scenes and more robust tracking performance in the challenging HDR and motion blur conditions.

研究动机与目标

• 解决现有事件驱动跟踪器在目标停止或在固定场景中非独立运动时失效的局限性。
• 通过引入目标边缘初始化和边缘检测器，克服跟踪过程中的漂移问题。
• 实现对任意目标边缘的鲁棒跟踪，无论运动类型如何，包括与背景发生非独立运动的情况。
• 构建一个全面的开源数据集，包含合成和真实世界的事件序列，用于训练和评估。
• 通过利用稀疏事件流中的边缘结构信息，提升在高动态范围和运动模糊等挑战性条件下的跟踪性能。

提出的方法

• 使用如EST等事件表示方法，将两个时间戳的事件流嵌入为特征张量，以保留边缘结构。
• 将嵌入的目标和搜索区域事件特征输入共享的孪生卷积神经网络，以提取深层特征。
• 通过互相关运算关联共享特征，计算指示与目标最相似区域的相似性图。
• 采用边缘感知相似性学习，优先选择边缘结构匹配的区域，从而增强对运动和光照变化的鲁棒性。
• 引入目标边缘初始化，以在跟踪开始时生成清晰、独特的目标边缘表示。
• 实现边缘检测器，用于判断跟踪的边缘是否具有特征性和充分性，防止在静态场景中发生漂移。

实验结果

研究问题

• RQ1 在孪生网络框架中引入边缘感知相似性学习，能否提升事件驱动目标跟踪的鲁棒性？
• RQ2 所提出方法在先前方法失效的非独立运动目标和固定场景中的表现如何？
• RQ3 从稀疏事件中提取的边缘结构信息，在高动态范围和运动模糊条件下，能在多大程度上改善跟踪性能？
• RQ4 目标边缘初始化和边缘检测对减少跟踪漂移的影响如何？
• RQ5 SiamEvent在真实世界和合成数据上的性能与最先进图像驱动和事件驱动跟踪器相比如何？

主要发现

• 在真实世界场景中，SiamEvent相比最先进图像驱动和事件驱动跟踪器实现了15%的性能提升。
• 在合成事件数据集上，SiamEvent的成功得分为0.404，精度得分为0.454，成功率得分为0.478，优于基线方法。
• 边缘感知相似性学习机制使模型能够在相机移动但场景固定的静态场景中实现鲁棒的目标跟踪，例如在'arrow'和'gs25'序列中。
• 目标边缘初始化使成功得分提高0.015，精度得分提高0.020，证明其在减少漂移中的关键作用。
• 边缘检测器显著降低了静态场景中的性能下降，在合成数据集上，成功率从无检测器时的0.441提升至使用检测器后的0.478。
• SiamEvent在真实事件流上运行速度为25fps（包含嵌入处理），在事件预嵌入情况下可达120fps，表明其具备实时可行性。