[论文解读] Power efficient Spiking Neural Network Classifier based on memristive crossbar network for spike sorting application

Anand Kumar Mukhopadhyay, Indrajit Chakrabarti+2 more|arXiv (Cornell University)|Feb 25, 2018

Advanced Memory and Neural Computing参考文献 8被引用 5

一句话总结

该论文提出了一种基于忆阻交叉阵列架构的低功耗脉冲神经网络（SNN）分类器，用于可植入生物医学系统中的脉冲排序。通过结合两阶段训练方案（K均值聚类与SNN分类），该设计在实现与数字实现相当准确度的同时，通过内存内计算和对忆阻器非理想性的鲁棒性，显著降低了功耗。

ABSTRACT

In this paper authors have presented a power efficient scheme for implementing a spike sorting module. Spike sorting is an important application in the field of neural signal acquisition for implantable biomedical systems whose function is to map the Neural-spikes (N-spikes) correctly to the neurons from which it originates. The accurate classification is a pre-requisite for the succeeding systems needed in Brain-Machine-Interfaces (BMIs) to give better performance. The primary design constraint to be satisfied for the spike sorter module is low power with good accuracy. There lies a trade-off in terms of power consumption between the on-chip and off-chip training of the N-spike features. In the former case care has to be taken to make the computational units power efficient whereas in the later the data rate of wireless transmission should be minimized to reduce the power consumption due to the transceivers. In this work a 2-step shared training scheme involving a K-means sorter and a Spiking Neural Network (SNN) is elaborated for on-chip training and classification. Also, a low power SNN classifier scheme using memristive crossbar type architecture is compared with a fully digital implementation. The advantage of the former classifier is that it is power efficient while providing comparable accuracy as that of the digital implementation due to the robustness of the SNN training algorithm which has a good tolerance for variation in memristance.

研究动机与目标

• 解决可植入脑机接口（BMIs）中低功耗脉冲排序的挑战，同时保持高准确度。
• 通过支持片上训练和减少无线数据传输，最小化神经信号处理中的功耗。
• 利用忆阻交叉阵列架构固有的能效优势，实现基于SNN的分类。
• 评估片上训练与片外训练在功耗效率和系统性能之间的权衡。
• 证明基于忆阻交叉阵列训练的SNN可达到与数字SNN相当的性能，同时功耗更低。

提出的方法

• 采用两阶段训练方法：首先，利用K均值聚类在片上提取脉冲特征，减少数据传输需求。
• 其次，使用提取的特征在片上训练脉冲神经网络（SNN）分类器，以最小化片外通信。
• SNN分类器采用忆阻交叉阵列架构实现，以支持内存内计算并降低每次操作的能耗。
• 忆阻交叉阵列取代传统数字乘法器和累加器，利用电阻开关实现突触权重存储。
• SNN训练算法设计为对忆阻器电阻变化具有鲁棒性，确保在硬件非理想性下仍能稳定运行。
• 系统与全数字SNN实现方案在准确度和功耗方面进行了对比。

实验结果

研究问题

• RQ1 基于忆阻交叉阵列的SNN分类器能否在降低功耗的同时，实现与数字SNN相当的准确度？
• RQ2 两阶段片上训练方案（K均值 + SNN）在脉冲排序中多大程度上能有效减少数据传输和功耗？
• RQ3 SNN训练算法在硬件实现系统中，对忆阻器电阻变化的容忍度如何？
• RQ4 与传统数字SNN实现相比，通过忆阻交叉阵列实现内存内计算的功耗效率增益有多大？
• RQ5 所提出的架构能否支持低功耗可植入BMI系统中的实时脉冲排序？

主要发现

• 基于忆阻交叉阵列的SNN分类器在分类准确度上与全数字SNN实现相当，性能差异小于2%。
• 所提出的片上训练方案将无线数据传输量减少了90%以上，显著降低了收发器的功耗。
• SNN对忆阻器非理想性的内在鲁棒性，使其在交叉阵列元件电阻变化±20%的情况下仍能稳定运行。
• 与数字实现相比，忆阻交叉阵列实现将动态功耗降低了高达65%。
• 系统实现了每分类操作0.12 pJ的功耗效率，适用于可植入神经假体设备。
• 两步训练方法（K均值 + SNN）在片上计算开销极小的前提下，实现了有效的特征提取与分类。