[论文解读] Online Spatio-Temporal Learning in Deep Neural Networks

Thomas Bohnstingl, Stanisław Woźniak+3 more|arXiv (Cornell University)|Jul 24, 2020

Advanced Memory and Neural Computing被引用 7

一句话总结

该论文提出了一种新型在线学习算法——在线时空学习（OSTL），用于深度脉冲神经网络（SNNs），其核心是将空间梯度与时间梯度分量分离。OSTL 在浅层 SNN 上实现了与 BPTT 等价的梯度，同时支持深层 SNN 和 RNN（包括 LSTMs 和 GRUs）的低复杂度在线训练，在语言建模和语音识别任务上的性能与 BPTT 基线相当。

ABSTRACT

Biological neural networks are equipped with an inherent capability to continuously adapt through online learning. This aspect remains in stark contrast to learning with error backpropagation through time (BPTT) applied to recurrent neural networks (RNNs), or recently to biologically-inspired spiking neural networks (SNNs). BPTT involves offline computation of the gradients due to the requirement to unroll the network through time. Online learning has recently regained the attention of the research community, focusing either on approaches that approximate BPTT or on biologically-plausible schemes applied to SNNs. Here we present an alternative perspective that is based on a clear separation of spatial and temporal gradient components. Combined with insights from biology, we derive from first principles a novel online learning algorithm for deep SNNs, called online spatio-temporal learning (OSTL). For shallow networks, OSTL is gradient-equivalent to BPTT enabling for the first time online training of SNNs with BPTT-equivalent gradients. In addition, the proposed formulation unveils a class of SNN architectures trainable online at low time complexity. Moreover, we extend OSTL to a generic form, applicable to a wide range of network architectures, including networks comprising long short-term memory (LSTM) and gated recurrent units (GRU). We demonstrate the operation of our algorithm on various tasks from language modelling to speech recognition and obtain results on par with the BPTT baselines. The proposed algorithm provides a framework for developing succinct and efficient online training approaches for SNNs and in general deep RNNs.

研究动机与目标

• 为解决在在线学习场景中反向传播通过时间（BPTT）方法存在的系统锁定和高内存需求等局限性。
• 开发一种生物可解释的、适用于深层脉冲神经网络（SNNs）的在线学习算法，使其保持与 BPTT 的梯度等价性。
• 实现前馈和循环 SNN 的高效、低复杂度在线训练，包括 LSTM 和 GRU 架构。
• 通过分离空间与时间梯度分量，统一 SNN 和 RNN 的在线学习方法，其灵感来源于生物神经计算机制。

提出的方法

• 该算法基于基本原理，明确分离了循环 SNN 中的空间与时间梯度分量。
• 其学习规则将突触权重更新分解为学习信号与可塑性痕迹（eligibility traces），类似于三因素学习规则。
• 对于浅层网络，OSTL 在延迟更新机制下保持与 BPTT 和 RTRL 的精确梯度等价性。
• 该方法可扩展至深层前馈 SNN，时间复杂度为 O(kn²)，其中 k 为层数，n 为神经元数量。
• 通过将 LSTM 和 GRU 内部门控机制整合进可塑性痕迹框架，OSTL 被推广至循环网络。
• 该算法通过使用截断的可塑性痕迹避免完整的时间展开，从而实现实时更新，且无需存储历史状态。

实验结果

研究问题

• RQ1 在 SNN 的在线学习中，能否在不进行完整时间展开的前提下实现与 BPTT 等价的梯度？
• RQ2 如何分离梯度的空间与时间分量，以实现深层 SNN 的高效在线训练？
• RQ3 OSTL 能否在保持性能与低时间复杂度的前提下，推广至 LSTMs 和 GRUs 等复杂 RNN 单元？
• RQ4 在可塑性痕迹中忽略循环矩阵 H 对性能和计算成本有何影响？
• RQ5 在具有长时序依赖性的任务中，OSTL 与截断 BPTT 及其他在线近似方法相比表现如何？

主要发现

• OSTL 在浅层 SNN 上实现了与 BPTT 等价的梯度，支持无需离线计算的精确在线学习。
• 对于深层前馈 SNN，OSTL 在语言建模和语音识别任务上的性能与 BPTT 基线相当。
• 在 TIMIT 语音识别任务中，OSTL 在短时程截断的 BPTT 方法下表现更优，并在不展开时间序列的情况下保持了具有竞争力的错误率。
• 在可塑性痕迹中忽略 H 矩阵可将时间复杂度降低至 O(n²)，仅导致 4% 的性能下降；而随机 e-prop 方法则造成 15% 的性能损失。
• OSTL 实现了深层 RNN（包括 LSTMs 和 GRUs）的低复杂度在线训练，且准确率损失极小。
• 该算法支持实时自适应，适用于低功耗边缘设备及对隐私敏感的应用场景。