[论文解读] Spiking Neural Networks and Bio-Inspired Supervised Deep Learning: A Survey

Gabriele Lagani, Fabrizio Falchi+2 more|arXiv (Cornell University)|Jul 30, 2023

Advanced Memory and Neural Computing被引用 10

一句话总结

对 Spiking Neural Networks (SNNs) 和生物启发的监督式深度学习 (BIDL) 的综合综述，详细介绍 SNN 模型、训练挑战、基于 STDP 的和代理梯度方法，以及能效神经形态计算的含义。

ABSTRACT

For a long time, biology and neuroscience fields have been a great source of inspiration for computer scientists, towards the development of Artificial Intelligence (AI) technologies. This survey aims at providing a comprehensive review of recent biologically-inspired approaches for AI. After introducing the main principles of computation and synaptic plasticity in biological neurons, we provide a thorough presentation of Spiking Neural Network (SNN) models, and we highlight the main challenges related to SNN training, where traditional backprop-based optimization is not directly applicable. Therefore, we discuss recent bio-inspired training methods, which pose themselves as alternatives to backprop, both for traditional and spiking networks. Bio-Inspired Deep Learning (BIDL) approaches towards advancing the computational capabilities and biological plausibility of current models.

研究动机与目标

• 展示支撑 SNNs 的基本生物学与突触可塑性原理。
• 综述具有生物学细节的 SNN 模型及其训练挑战，以及在能效计算中的潜在应用。
• 调研作为 SNNs 和 DNNs 反向传播替代的生物启发式训练方法。
• 讨论 Bio-Inspired Deep Learning (BIDL) 的概念及其与传统 DL 与神经科学的联系。
• 突出基于生物学的学习技术的开放挑战与未来方向。

提出的方法

• 描述脉冲神经元模型（如 LIF、HH、Izhikevich）及脉冲编码方案。
• 解释 STDP 及其他突触可塑性规则，包括电压相关和三元组变体。
• 讨论 SNNs 中对 backprop 的兼容性问题以及代理梯度方法作为训练替代方案。
• 介绍教师神经元技术和竞争学习（WTA）作为基于 STDP 的 DL 的监督。
• 在 BIDL 内概述替代学习范式（前向传播、reservoir computing、无监督/双向学习）。

实验结果

研究问题

• RQ1 用于生物学上逼真计算的主要 Spiking Neural Network 模型和脉冲编码方案有哪些？
• RQ2 SNNs 的关键训练挑战是什么，哪些生物启发式方法可以作为反向传播的替代来解决它们？
• RQ3 STDP 及其他基于 Hebbian 的规则与传统 DL 目标和数据效率目标有何关系？
• RQ4 Bio-Inspired Deep Learning (BIDL) 在推动能源高效且生物学可行的 AI 方面的作用与潜力？
• RQ5 SNNs 对神经形态硬件和实际应用的实际意义是什么？

主要发现

• 由于脉冲非线性，反向传播不能直接应用于 SNNs，促使 STDP 和代理梯度方法的发展。
• 基于 STDP 的训练在图像样任务上可实现有竞争力的性能，例如在 MNIST 上达到 95% 精度，使用单个卷积层和 WTA。
• 教师神经元技术使有监督的 STDP 训练成为可能，在报道的实验中在 MNIST 上达到约 89.7% 的准确率。
• 更深层的 STDP 基于和混合架构已显示出改进，在三卷积层设置下在 MNIST 上报道 82.8% 的准确率（细节被截断）。
• 生物启发的学习规则可以映射到基于速率的 Hebbian 概念（如 PCA/ICA、聚类）并为标准 DL 提供数据高效的替代方案。
• SNNs 和生物启发的训练在能效的神经形态/硬件实现方面具有潜力。