[论文解读] SpikePoint: An Efficient Point-based Spiking Neural Network for Event Cameras Action Recognition

Hongwei Ren, Yue Zhou+5 more|arXiv (Cornell University)|Oct 11, 2023

Advanced Memory and Neural ComputingEngineering被引用 3

一句话总结

SpikePoint 提出了一种新颖的、端到端的基于点的脉冲神经网络，可直接处理事件相机的稀疏事件云数据，无需转换为帧，通过单一阶段架构结合恒等映射与代理训练，在五个数据集上仅使用16个时间步、参数量仅为人工神经网络（ANNs）的0.3%，功耗仅为其0.5%，即实现了最先进（SOTA）的动作识别准确率。

ABSTRACT

Event cameras are bio-inspired sensors that respond to local changes in light intensity and feature low latency, high energy efficiency, and high dynamic range. Meanwhile, Spiking Neural Networks (SNNs) have gained significant attention due to their remarkable efficiency and fault tolerance. By synergistically harnessing the energy efficiency inherent in event cameras and the spike-based processing capabilities of SNNs, their integration could enable ultra-low-power application scenarios, such as action recognition tasks. However, existing approaches often entail converting asynchronous events into conventional frames, leading to additional data mapping efforts and a loss of sparsity, contradicting the design concept of SNNs and event cameras. To address this challenge, we propose SpikePoint, a novel end-to-end point-based SNN architecture. SpikePoint excels at processing sparse event cloud data, effectively extracting both global and local features through a singular-stage structure. Leveraging the surrogate training method, SpikePoint achieves high accuracy with few parameters and maintains low power consumption, specifically employing the identity mapping feature extractor on diverse datasets. SpikePoint achieves state-of-the-art (SOTA) performance on four event-based action recognition datasets using only 16 timesteps, surpassing other SNN methods. Moreover, it also achieves SOTA performance across all methods on three datasets, utilizing approximately 0.3\% of the parameters and 0.5\% of power consumption employed by artificial neural networks (ANNs). These results emphasize the significance of Point Cloud and pave the way for many ultra-low-power event-based data processing applications.

研究动机与目标

• 为解决现有 SNN 在将异步事件数据转换为静态帧进行处理时存在的效率低下和稀疏性损失问题。
• 开发一种轻量化、端到端的 SNN 架构，原生处理稀疏的三维事件点云，同时保留精细的时间信息。
• 通过在单阶段结构中利用代理训练与恒等映射，实现极低参数量与超低功耗下的高准确率。
• 提出一种新型编码方案，以保留点云表示中负相对位置值的对称性。
• 证明基于点云的 SNN 在事件驱动动作识别中优于基于帧的以及多阶段 SNN/ANN 方法。

提出的方法

• 将事件数据表示为三维时空点云，以在不进行帧转换的情况下保留稀疏性与时间分辨率。
• 设计一种单阶段 SNN 架构，通过共享与独立分支的双路径结构，联合提取局部与全局特征。
• 采用代理梯度方法进行反向传播训练，实现端到端优化，无需将 ANNs 转换为 SNNs。
• 提出一种新型编码策略，对点云输入中的负相对坐标应用绝对值与质心归一化。
• 使用恒等映射作为特征提取器，以减少参数量并提升训练稳定性。
• 实现一种基于逐元素相加（Add）的双分支融合机制，以有效结合局部与全局特征。

实验结果

研究问题

• RQ1 基于点的 SNN 架构是否能在不将事件转换为帧的情况下，实现事件相机数据上更优的动作识别性能？
• RQ2 与多阶段或残差结构的 SNN 相比，单阶段 SNN 设计在准确率、参数效率与功耗方面表现如何？
• RQ3 针对相对位置数据（尤其是包含负值的情况）的不同编码策略对 SNN 性能有何影响？
• RQ4 在极少数时间步（如16步）下，轻量化 SNN 能在事件基准上达到或超越大型 ANNs 与 SNNs 的准确率程度如何？
• RQ5 与体素化或基于帧的表示相比，点云表示是否能更好地保持时间稀疏性并提升 SNN 的能效？

主要发现

• SpikePoint 在五个事件驱动动作识别数据集上实现了最先进准确率，包括 Daily DVS、DVS128 Gesture 和 HMDB51-DVS，且仅使用16个时间步。
• 在 Daily DVS 数据集上，SpikePoint 达到 97.92% 的准确率，超越了先前的 SOTA SNN，甚至超过部分表现优异的 ANNs。
• 该模型的参数量约为等效 ANNs 的 0.3%，功耗仅为 0.5%，同时保持了相当或更优的准确率。
• 消融实验证实，通过双路径结构与 Add 融合方式联合提取局部与全局特征，可获得最高性能，优于单路径或拼接式设计。
• 最优时间步为 16，进一步增加（如 24 或 32）会导致准确率下降，原因可能是过拟合或时间错位。
• 采用绝对值与质心归一化的编码策略显著提升性能，优于其他归一化方式与变体，尤其在处理负坐标值方面表现更优。