[论文解读] SpikeCV: Open a Continuous Computer Vision Era

Yajing Zheng, Jiyuan Zhang+6 more|arXiv (Cornell University)|Mar 21, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

SpikeCV 是一个开源的、基于 Python 的平台，可实现实时处理和分析脉冲摄像头数据，用于连续计算机视觉。它提供了标准化的数据集、硬件接口和模块化算法，适用于图像重建、光流和目标跟踪等任务，在使用脉冲视觉数据的离线和实时应用中均表现出高性能。

ABSTRACT

SpikeCV is a new open-source computer vision platform for the spike camera, which is a neuromorphic visual sensor that has developed rapidly in recent years. In the spike camera, each pixel position directly accumulates the light intensity and asynchronously fires spikes. The output binary spikes can reach a frequency of 40,000 Hz. As a new type of visual expression, spike sequence has high spatiotemporal completeness and preserves the continuous visual information of the external world. Taking advantage of the low latency and high dynamic range of the spike camera, many spike-based algorithms have made significant progress, such as high-quality imaging and ultra-high-speed target detection. To build up a community ecology for the spike vision to facilitate more users to take advantage of the spike camera, SpikeCV provides a variety of ultra-high-speed scene datasets, hardware interfaces, and an easy-to-use modules library. SpikeCV focuses on encapsulation for spike data, standardization for dataset interfaces, modularization for vision tasks, and real-time applications for challenging scenes. With the advent of the open-source Python ecosystem, modules of SpikeCV can be used as a Python library to fulfilled most of the numerical analysis needs of researchers. We demonstrate the efficiency of the SpikeCV on offline inference and real-time applications. The project repository address are \url{https://openi.pcl.ac.cn/Cordium/SpikeCV} and \url{https://github.com/Zyj061/SpikeCV

研究动机与目标

• 通过创建一个统一的开源平台来解决脉冲基计算机视觉工具缺乏可访问性的问题，以支持脉冲摄像头的使用。
• 在图像重建、光流估计和深度估计等多样化视觉任务中，标准化脉冲数据集和接口。
• 通过集成 C++ 用于硬件 I/O 和 Python 用于高级数值分析，实现低延迟的实时处理流水线。
• 通过提供模块化、可重用且互操作的工具，促进神经形态视觉领域的社区生态系统发展。
• 支持动态场景中的超高速应用，如自动驾驶、无人机和工业监控。

提出的方法

• SpikeCV 使用自定义数据加载器封装脉冲数据，支持离线文件和实时硬件流。
• 通过一致的文件格式和元数据，标准化多种任务（如图像、光流、深度）之间的数据集接口。
• 该平台提供模块化算法库，用于脉冲基视觉任务，包括用于图像重建的 TFP 和用于高质量输出的 SSML。
• 通过双接口设计实现实时处理：使用 C++ 实现低延迟硬件通信，使用 Python 实现算法灵活性，并与 NumPy/PyTorch 集成。
• 通过为不同脉冲摄像头型号优化的流水线，支持脉冲数据采集与处理之间的同步。
• 与开源 Python 生态系统集成，可无缝使用 SciPy 和 PyTorch 等数值工具包，支持研究与开发。

实验结果

研究问题

• RQ1 如何设计一个统一的开源平台，以简化脉冲基计算机视觉应用的开发与部署？
• RQ2 支持脉冲摄像头数据上多样化视觉任务所需的标准化数据接口和模块化组件是什么？
• RQ3 能否在不同硬件平台上实现对超高速脉冲流的低延迟、高可靠性的实时处理？
• RQ4 该平台在复杂动态场景中实现离线分析和实时推理的有效性如何？
• RQ5 此类平台在加速神经形态视觉和连续视觉领域的研究与社区发展方面可发挥何种作用？

主要发现

• SpikeCV 成功利用 TFP 算法从脉冲流中实现高质量图像重建，在光照条件恶劣的挑战性环境中仍能生成清晰、低噪声的图像。
• 光流估计和多目标跟踪算法在稀疏脉冲流上表现出稳健性能，能准确捕捉旋转物体和快速手势等高速场景中的运动。
• 该平台在动态任务（如石头剪刀布识别）中实现了实时性能，对快速手部动作的处理延迟极低。
• 标准化的数据集接口支持多种数据类型，包括用于光流的合成数据（RSSF）、深度数据（Spike-KITTI）和单目深度数据（DENSE-Spike），实现了跨任务的兼容性。
• C++ 用于硬件 I/O 与 Python 用于算法开发的集成，实现了高效、同步的数据处理，具备低延迟性能。
• 该平台已在 PKU-Vidar-DVS 数据集上得到验证，在室内外环境中对多个视觉任务均表现出一致且可靠的结果。