[论文解读] PC-SNN: Predictive Coding-based Local Hebbian Plasticity Learning in Spiking Neural Networks

Wang, Haidong, Xiaogang Xiong+6 more|arXiv (Cornell University)|Nov 24, 2022

Advanced Memory and Neural Computing被引用 6

一句话总结

该论文提出PC-SNN，一种用于脉冲神经网络（SNNs）的生物可塑性监督学习算法，利用预测编码理论实现仅通过局部赫布可塑性进行端到端训练。其在N-MNIST数据集上达到98.5%的最先进准确率，无需反向传播或反馈网络，展示了高效、低功耗的学习能力，与神经形态硬件高度兼容。

ABSTRACT

Spiking Neural Networks (SNNs), regarded as the third generation of neural networks, emulate the brain's information processing with unparalleled biological plausibility compared to traditional neural networks. However, their non-linear, event-driven dynamics pose significant challenges for training, and existing methods often deviate from neuroscientific principles of cortical learning. Drawing inspiration from predictive coding theory-a leading model of brain information processing-we propose PC-SNN, a novel learning framework that integrates predictive coding with SNNs to enable biologically plausible, local Hebbian plasticity without reliance on backpropagation. Unlike conventional SNN training approaches, PC-SNN leverages only local computations, aligning with the brain's distributed processing and overcoming the biological implausibility of global error propagation. Our classification model achieves competitive performance on the benchmark datasets, including Caltech Face/Motorbike, MNIST, and CIFAR10, surpassing state-of-the-art multi-layer SNNs. Furthermore, our predictive coding-based regression model outperforms backpropagation-based methods while adhering to local plasticity constraints, offering a scalable and biologically grounded alternative for SNN training. PC-SNN drives progress in neuromorphic computing through validating the adaptability of bio-inspired algorithms within spiking neural architectures, but also unveils novel understandings of neurocognitive learning processes, presenting a conceptual framework distinguished by its theoretical originality and functional efficacy.

研究动机与目标

• 开发一种生物可塑的、局部的监督SNN训练学习规则，避免非局部的反向传播。
• 克服基于梯度的方法在SNN中的局限性，如不可微分的脉冲函数和高计算成本。
• 仅通过预突触和后突触活动实现端到端训练，模拟类脑学习机制。
• 在MNIST和N-MNIST等基准数据集上实现具有最小架构复杂度的竞争力性能。
• 为神经形态硬件上的片上、高能效学习提供基础。

提出的方法

• 该方法采用预测编码框架，在每个神经元上计算预测误差，用于局部更新突触权重。
• 突触可塑性由局部的预突触和后突触活动驱动，无需全局误差信号或反馈网络。
• 算法使用简化的IF神经元模型，具有瞬时突触电流（I.S.C），并强制每个输入最多仅产生一个脉冲，以降低能耗。
• 权重更新通过基于预突触活动与后突触神经元预测误差乘积的局部赫布规则计算。
• 训练过程完全端到端，无单独的预训练或微调阶段。
• 网络架构为全连接结构，通过迭代最小化输出神经元的均方误差和（MSSE）实现收敛。

实验结果

研究问题

• RQ1 预测编码能否用于在SNN中实现无需反向传播的生物可塑、局部学习？
• RQ2 纯粹的局部赫布规则是否能在标准图像数据集上实现与最先进SNN相当的性能？
• RQ3 消除反馈网络是否能提升与神经形态硬件片上学习的兼容性？
• RQ4 在缺乏全局误差信号的情况下，网络性能如何随深度和参数量变化？
• RQ5 单输入一脉冲的约束是否能在不损失准确率的前提下提升能效？

主要发现

• PC-SNN在Caltech Face/Motorbike数据集上达到99.25%的测试准确率，优于许多现有SNN方法。
• 在ETH-80数据集上，模型达到84.25%的准确率，展示了在自然图像识别任务中的强大泛化能力。
• 在MNIST数据集上，PC-SNN实现98.1%的准确率，尽管使用了简化的神经元模型，仍表现出色。
• 在N-MNIST神经形态数据集上，模型达到98.5%的准确率，与文献中最佳结果相当或更优。
• 输出误差神经元的MSSE随训练轮次单调下降并趋近于零，表明误差被有效最小化。
• 3层网络的准确率高于2层版本，但2层模型因参数更少而收敛更快。