[论文解读] Stereo Co-capture System for Recording and Tracking Fish with Frame- and Event Cameras

Friedhelm Hamann, Guillermo Gallego|arXiv (Cornell University)|Jul 15, 2022

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出一种结合帧相机与事件相机的立体协同捕获系统，通过空间与时间对齐实现高精度鱼类追踪。该研究提出一种基线事件追踪算法，利用时间面表示实现稳定追踪，尽管mAP低于基于帧的方法，但仍证明了其可行性，并为动物行为分析中的混合事件-帧追踪系统奠定了基础。

ABSTRACT

This work introduces a co-capture system for multi-animal visual data acquisition using conventional cameras and event cameras. Event cameras offer multiple advantages over frame-based cameras, such as a high temporal resolution and temporal redundancy suppression, which enable us to efficiently capture the fast and erratic movements of fish. We furthermore present an event-based multi-animal tracking algorithm, which proves the feasibility of the approach and sets the baseline for further exploration of combining the advantages of event cameras and conventional cameras for multi-animal tracking.

研究动机与目标

• 开发一种同步、空间对齐的立体协同捕获系统，结合帧相机与事件相机，用于多只动物追踪。
• 实现对快速、不规则鱼类运动的高时间分辨率记录，突破传统帧相机的性能限制。
• 建立基线事件驱动的多目标追踪算法，用于与基于帧的方法进行比较。
• 探索事件与帧数据的融合，以提升在复杂条件下追踪的鲁棒性与效率。
• 为未来基于混合传感器模态的事件驱动动物追踪研究提供可复现的平台。

提出的方法

• 使用分束镜对齐帧相机（Basler，120 fps）与事件相机（DVS128）的光路，确保两者视图的空间对齐。
• 通过硬件触发器实现帧与事件数据流之间的微秒级时间同步。
• 利用E2VID将事件数据处理为时间面表示，用于帧式重建，同时生成时间图用于事件驱动追踪。
• 基于三种输入类型（灰度帧、E2VID重建图像、时间面图）使用YOLOv5s进行目标检测，采用小规模标注数据集进行迁移学习。
• 通过卡尔曼滤波器结合匈牙利算法关联，实现多目标追踪，应用于所有三种表示形式的检测结果。
• 在12组序列（每组含1至6条Poecilia formosa鱼）中验证系统性能，采用俯视视角记录用于评估。

实验结果

研究问题

• RQ1 事件相机能否有效捕捉挑战传统帧相机的快速、不规则鱼类运动？
• RQ2 是否可行仅使用事件数据，基于检测-追踪范式实现多只动物追踪？
• RQ3 在检测准确率与轨迹稳定性方面，事件驱动追踪的性能与基于帧的追踪相比如何？
• RQ4 事件数据生成的时间面表示能否在标准计算机视觉流水线中有效用于目标检测与追踪？
• RQ5 结合帧与事件数据在动物追踪中是否具有提升鲁棒性与效率的潜力？

主要发现

• 事件驱动目标检测器在时间面图上的平均平均精度（mAP）达到0.4224，低于基于帧的检测器的0.6169，但仍证明了其可行性。
• 时间面数据的平均轨迹片段时长为14.11秒，而灰度帧为20.42秒，表明追踪稳定但持续性较弱。
• E2VID重建图像表示的mAP为0.4936，平均轨迹片段时长为16.28秒，表现居中。
• 系统成功捕捉到平均事件速率达675,000事件/秒的高速鱼类运动，超出标准120 fps帧相机的能力。
• 基线事件驱动追踪器证明事件数据可有效用于多只动物追踪，为未来混合帧-事件算法奠定了基础。
• 协同捕获系统实现了帧与事件追踪的公平比较，并支持通过多视角融合实现未来3D轨迹重建。