[论文解读] Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural Networks

Alan Jeffares, Qinghai Guo+2 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出了一种受脉冲启发的秩编码（RC）方法，应用于传统循环神经网络（RNNs），通过在首个输出神经元‘脉冲’后停止计算，实现早期推理——该脉冲由阈值穿越事件触发。该方法在时间编码的MNIST数据集上实现了高达99.19%的准确率，且仅需一个时间步的推理，显著优于标准LSTM和采用时间编码的SNN，在速度-准确率权衡方面表现更优。

ABSTRACT

Biological spiking neural networks (SNNs) can temporally encode information in their outputs, e.g. in the rank order in which neurons fire, whereas artificial neural networks (ANNs) conventionally do not. As a result, models of SNNs for neuromorphic computing are regarded as potentially more rapid and efficient than ANNs when dealing with temporal input. On the other hand, ANNs are simpler to train, and usually achieve superior performance. Here we show that temporal coding such as rank coding (RC) inspired by SNNs can also be applied to conventional ANNs such as LSTMs, and leads to computational savings and speedups. In our RC for ANNs, we apply backpropagation through time using the standard real-valued activations, but only from a strategically early time step of each sequential input example, decided by a threshold-crossing event. Learning then incorporates naturally also *when* to produce an output, without other changes to the model or the algorithm. Both the forward and the backward training pass can be significantly shortened by skipping the remaining input sequence after that first event. RC-training also significantly reduces time-to-insight during inference, with a minimal decrease in accuracy. The desired speed-accuracy trade-off is tunable by varying the threshold or a regularization parameter that rewards output entropy. We demonstrate these in two toy problems of sequence classification, and in a temporally-encoded MNIST dataset where our RC model achieves 99.19% accuracy after the first input time-step, outperforming the state of the art in temporal coding with SNNs, as well as in spoken-word classification of Google Speech Commands, outperforming non-RC-trained early inference with LSTMs.

研究动机与目标

• 通过将受脉冲启发的时间编码整合到标准RNN中，弥合脉冲神经网络（SNNs）的效率与传统人工神经网络（ANNs）的准确率之间的差距。
• 通过在输出中发生阈值穿越事件后动态截断序列，降低计算成本和推理时间，同时不损失准确性。
• 通过调整阈值和可学习的熵正则化参数，实现RNN推理中可调节的速度-准确率权衡。
• 证明SNN中的秩编码机制可有效适配到ANN的标准反向传播时间反向传播（BPTT）中，从而提升推理效率。
• 表明RC训练可显著缩短推理过程中的洞察时间，尤其在关键词识别等实时应用中表现突出。

提出的方法

• 该方法使用实值激活进行标准的反向传播时间反向传播，但仅处理输入序列直至首个输出神经元越过预设阈值，从而触发早期推理。
• 阈值穿越事件决定了计算停止的时机，有效截断序列，从而缩短前向传播和反向传播的持续时间。
• 引入基于输出熵的正则化项，以鼓励更早且更可靠的预测，从而改善速度-准确率权衡。
• 模型通过标准RNN（如LSTM）端到端训练，无需架构修改——仅通过阈值机制调整推理时机。
• 推理时可调节阈值以控制速度，而正则化参数β在训练过程中优化，以促进更早且更准确的输出。
• 该方法在序列分类任务上进行评估，包括一个时间编码的MNIST变体和Google语音命令数据集，并与非RC训练模型及SNN基线模型进行性能比较。

实验结果

研究问题

• RQ1 受脉冲启发的秩编码能否有效应用于标准人工循环神经网络，以加速推理？
• RQ2 RC训练是否能在保持或提升准确率的同时，实现推理过程中更快的洞察时间？
• RQ3 通过阈值调节和正则化能否独立调控速度-准确率权衡？与传统方法相比表现如何？
• RQ4 与SOTA SNN和非RC ANNs相比，RC训练的RNN在真实世界的时间序列任务（如语音词分类）中表现如何？
• RQ5 RC训练在不修改标准RNN架构的前提下，能在多大程度上提升推理效率？

主要发现

• RC模型在仅一个输入时间步后，于时间编码的MNIST数据集上实现了99.19%的准确率，优于使用秩编码的最先进SNN。
• 在Google语音命令分类任务中，RC训练的LSTM在任意给定推理速度下均实现了高于非RC训练模型的准确率，展现出更优的速度-准确率权衡。
• RC训练显著缩短了推理过程中的洞察时间，且准确率损失极小，尤其在结合熵正则化时效果更明显。
• RC训练模型的速度-准确率权衡更具可调性：降低阈值会使准确率下降更迅速，但调节正则化参数β可实现更早推理，且准确率仅轻微下降甚至略有提升。
• 通过在首个阈值穿越事件后跳过剩余输入步骤，该方法在前向和反向传播中均实现了计算节省，且无需修改网络架构或训练算法。
• 结果表明，将单一神经形态机制——秩编码——集成到标准RNN中，可在保持高性能的同时实现显著的效率提升，为迈向神经形态计算提供了切实可行的路径。