[论文解读] Spiking Neural Networks for Frame-based and Event-based Single Object Localization

Sami Barchid, José Mennesson+3 more|arXiv (Cornell University)|Jun 13, 2022

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出一种通过代理梯度训练的脉冲神经网络（SNN），用于单目标定位，能够通过可学习的输出累积器适应帧输入和事件输入。该方法在准确率方面表现具有竞争力，对图像损坏具有更优的鲁棒性，且相比等效的人工神经网络（ANNs）能耗降低高达126.6倍，其发现与以往基于STDP的SNN研究在神经编码方案上的结论不同。

ABSTRACT

Spiking neural networks have shown much promise as an energy-efficient alternative to artificial neural networks. However, understanding the impacts of sensor noises and input encodings on the network activity and performance remains difficult with common neuromorphic vision baselines like classification. Therefore, we propose a spiking neural network approach for single object localization trained using surrogate gradient descent, for frame- and event-based sensors. We compare our method with similar artificial neural networks and show that our model has competitive/better performance in accuracy, robustness against various corruptions, and has lower energy consumption. Moreover, we study the impact of neural coding schemes for static images in accuracy, robustness, and energy efficiency. Our observations differ importantly from previous studies on bio-plausible learning rules, which helps in the design of surrogate gradient trained architectures, and offers insight to design priorities in future neuromorphic technologies in terms of noise characteristics and data encoding methods.

研究动机与目标

• 为解决SNN在目标定位任务中除图像分类基线外缺乏全面评估的问题。
• 探究神经编码方案、传感器噪声以及输入模态（帧式 vs. 事件式）对SNN在目标定位中性能的影响。
• 在统一框架下，对比SNN与等效ANN在准确率、鲁棒性、推理效率和能效方面的表现。
• 通过分析代理梯度训练对编码方案性能的影响，为未来神经形态系统提供设计洞见，与基于STDP的先前工作不同。

提出的方法

• 使用代理梯度下降训练一种卷积SNN架构，实现端到端的目标定位。
• 输出累积器模块处理二值脉冲输出，生成精确的边界框预测。
• 在帧式输入（Oxford-IIIT-Pet）和事件式输入（N-Caltech101）数据集上进行训练与评估。
• 在不同时间步长和噪声条件下，系统评估多种神经编码方案——脉冲率、TTFS、相位、扫视、可学习编码。
• 基于45nm CMOS工艺模型估算能耗，通过乘加操作数和脉冲数量对比SNN与等效ANN的能耗。
• 在常见图像损坏条件下评估鲁棒性，并在时间步长（T ≤ 8）范围内测量推理效率。

实验结果

研究问题

• RQ1 代理梯度训练的SNN在单目标定位任务中，其准确率、鲁棒性和能效表现与等效ANN相比如何？
• RQ2 在代理梯度训练的SNN中，哪种神经编码方案在准确率、推理速度、鲁棒性和能效之间提供了最佳权衡？
• RQ3 不同传感器模态（帧式 vs. 事件式）和噪声类型如何影响SNN的性能与能耗？
• RQ4 与基于STDP或生物合理规则训练的SNN相比，代理梯度训练SNN的性能特征有何不同？

主要发现

• 所提出的SNN在保持与等效ANN相当或更优准确率的同时，能耗降低高达126.6倍。
• 该模型对图像损坏表现出更优的鲁棒性，尤其在脉冲率编码和可学习编码方案下。
• 扫视编码实现最低能耗且准确率相当，尽管鲁棒性较差；而TTFS编码表现出高鲁棒性但整体性能较差。
• 脉冲率编码在准确率、推理效率和能效之间提供了最佳综合权衡，与基于STDP的研究中偏好TTFS或扫视编码的结论不同。
• 事件式输入的能耗显著高于低脉冲率编码方案，表明需要优化事件到脉冲的编码方式。
• 可学习编码方案实现了高准确率和鲁棒性，但需正则化以降低能耗，提示训练中应引入脉冲惩罚项。