[论文解读] SIT: A Bionic and Non-Linear Neuron for Spiking Neural Network

Cheng Jin, Ruijie Zhu+2 more|arXiv (Cornell University)|Mar 30, 2022

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出标准伊zhikev奇tonic（SIT）神经元，这是一种基于相平面分析（PPA）从Izhikevich模型推导出的生物可解释性非线性脉冲神经元，可集成于脉冲神经网络（SNN）中。通过将SIT与LIF神经元混合构建混合神经网络（HNN），该方法在静态数据集和神经形态数据集上均实现了最先进性能，同时展现出尖峰频率适应与爆发放电行为——这些是标准LIF神经元所缺乏的关键生物特性。

ABSTRACT

Spiking Neural Networks (SNNs) have piqued researchers' interest because of their capacity to process temporal information and low power consumption. However, current state-of-the-art methods limited their biological plausibility and performance because their neurons are generally built on the simple Leaky-Integrate-and-Fire (LIF) model. Due to the high level of dynamic complexity, modern neuron models have seldom been implemented in SNN practice. In this study, we adopt the Phase Plane Analysis (PPA) technique, a technique often utilized in neurodynamics field, to integrate a recent neuron model, namely, the Izhikevich neuron. Based on the findings in the advancement of neuroscience, the Izhikevich neuron model can be biologically plausible while maintaining comparable computational cost with LIF neurons. By utilizing the adopted PPA, we have accomplished putting neurons built with the modified Izhikevich model into SNN practice, dubbed as the Standardized Izhikevich Tonic (SIT) neuron. For performance, we evaluate the suggested technique for image classification tasks in self-built LIF-and-SIT-consisted SNNs, named Hybrid Neural Network (HNN) on static MNIST, Fashion-MNIST, CIFAR-10 datasets and neuromorphic N-MNIST, CIFAR10-DVS, and DVS128 Gesture datasets. The experimental results indicate that the suggested method achieves comparable accuracy while exhibiting more biologically realistic behaviors on nearly all test datasets, demonstrating the efficiency of this novel strategy in bridging the gap between neurodynamics and SNN practice.

研究动机与目标

• 通过将生物上合理的神经元模型整合到SNN中，弥合神经动力学与SNN实践之间的差距。
• 克服漏斗积分-放电（LIF）神经元缺乏尖峰频率适应与爆发动力学的局限性。
• 通过系统化的参数校准方法，使Izhikevich等复杂非线性神经元模型能够有效应用于SNN中。
• 开发一种结合LIF与SIT神经元的混合SNN架构（HNN），在计算成本与生物真实性之间实现平衡。
• 验证神经元更高动态复杂性可提升SNN在静态与事件驱动数据集上的性能表现。

提出的方法

• 应用相平面分析（PPA）系统分析并校准Izhikevich神经元模型的参数（a, b, c, d），以确保生物可解释性与计算可行性。
• 通过PPA对Izhikevich模型的无量纲参数进行归一化，提出标准伊zhikev奇tonic（SIT）神经元，确保其动态行为稳定且可复现。
• 设计一种混合神经网络（HNN），在独立的卷积层中混合使用LIF与SIT神经元，以降低计算开销，同时保留复杂的脉冲放电行为。
• 采用离散时间仿真框架，膜电位通过微分方程演化：$ U_t = Y_{t-1} + \frac{1}{\tau}(-(U_{t-1}-U_{\text{reset}})+I_t) $，在达到阈值时执行脉冲重置。
• 将尖峰频率适应与爆发放电模式作为生物可解释性的关键指标，通过模拟输入依赖的脉冲模式进行验证。
• 采用标准SNN训练协议，在静态数据集（MNIST、Fashion-MNIST、CIFAR-10）与神经形态数据集（N-MNIST、CIFAR10-DVS、DVS128 Gesture）上验证模型性能。

实验结果

研究问题

• RQ1 尽管动态复杂性较高，Izhikevich神经元模型是否能有效集成到SNN中？
• RQ2 相平面分析（PPA）是否可用于系统化确定Izhikevich神经元的参数，以确保生物可解释性与计算效率？
• RQ3 SIT神经元是否表现出如尖峰频率适应与爆发放电等生物上真实的神经活动行为？
• RQ4 结合SIT与LIF神经元的混合SNN是否能在保持低功耗的同时，实现比纯LIF神经元SNN更高的准确率？
• RQ5 SIT神经元更高的动态复杂性是否能通过脉冲特征图表现提升SNN的表征学习能力？

主要发现

• SIT神经元成功表现出尖峰频率适应（SFA），即在恒定输入下，放电频率在初始峰值后逐渐下降，与生物神经元行为一致。
• 通过调节参数a, b, c, d，SIT神经元可进入爆发模式，产生信噪比高的脉冲爆发，这是皮层神经元的典型特征。
• 与LIF神经元相比，SIT神经元对不同输入水平（如输入=2与输入=3）产生截然不同的脉冲模式，而LIF神经元在相同条件下产生相同模式。
• 基于SIT的脉冲特征图表现出更高的放电率与更清晰的边缘表征，表明其具备更强的表征学习能力。
• 采用SIT与LIF神经元的混合神经网络（HNN）在MNIST、Fashion-MNIST、CIFAR-10、N-MNIST、CIFAR10-DVS与DVS128 Gesture数据集上，性能与LIF单架构网络相当或更优。
• 本研究证明，通过PPA参数校准，复杂非线性神经元模型（如SIT）可被有效部署于SNN中，克服了以往在反向传播训练中失败的问题。