[论文解读] SpikingGamma: Surrogate-Gradient Free and Temporally Precise Online Training of Spiking Neural Networks with Smoothed Delays

Roel Koopman, Sebastian Otte+1 more|arXiv (Cornell University)|Feb 2, 2026

Advanced Memory and Neural Computing被引用 0

一句话总结

SpikingGamma 引入一种在线、无替代梯度训练范式用于脉冲神经网络，结合自适应递归记忆和 sigma-delta 脉冲编码以实现对时间的精确学习，分辨率可细化且可扩展到硬件映射。

ABSTRACT

Neuromorphic hardware implementations of Spiking Neural Networks (SNNs) promise energy-efficient, low-latency AI through sparse, event-driven computation. Yet, training SNNs under fine temporal discretization remains a major challenge, hindering both low-latency responsiveness and the mapping of software-trained SNNs to efficient hardware. In current approaches, spiking neurons are modeled as self-recurrent units, embedded into recurrent networks to maintain state over time, and trained with BPTT or RTRL variants based on surrogate gradients. These methods scale poorly with temporal resolution, while online approximations often exhibit instability for long sequences and tend to fail at capturing temporal patterns precisely. To address these limitations, we develop spiking neurons with internal recursive memory structures that we combine with sigma-delta spike-coding. We show that this SpikingGamma model supports direct error backpropagation without surrogate gradients, can learn fine temporal patterns with minimal spiking in an online manner, and scale feedforward SNNs to complex tasks and benchmarks with competitive accuracy, all while being insensitive to the temporal resolution of the model. Our approach offers both an alternative to current recurrent SNNs trained with surrogate gradients, and a direct route for mapping SNNs to neuromorphic hardware.

研究动机与目标

• 推动在高时间分辨率下对 SNN 的在线、时序精确训练的需求。
• 提出使用自适应递归记忆和 sigma-delta 编码来避免替代梯度的脉冲模型（SpikingGamma）。
• 展示 SpikingGamma 能够直接通过时间反向传播，且不需要 BPTT/RTRL 的近似。
• 在类神经形态基准（DVS Gesture、SHD、SSC）上展示具有竞争力的准确性，并对时序离散化具有鲁棒性。

提出的方法

• 引入带自适应递归记忆的 SpikingGamma 神经元，以及多桶（Gamma 类）延迟表示。
• 通过 sigma-delta 脉冲编码对整流的内部状态进行编码，在反向传播路径中实现无脉冲的前向重建。
• 使用每个神经元或每个突触的桶权重来计算 y_j 和 x_ij^k，滤波器具有多种时间尺度。
• 在每个离散时间步计算损失（Cross-Entropy 或 MSE），并直接通过前向路径进行反向传播，无需替代梯度。
• 应用自适应阈值和桶传输率初始化以维持稳定学习和长程时间滤波。
• 通过避免对脉冲进行反向传播（无 SGs）而依赖桶的隐式历史来实现误差反向传播的方程。

Figure 1 : Overview of the neural processing model. At the synapses, incoming spikes generate weighted currents that evolve over multiple timescales. Within the neuron, the resulting synaptic responses are weighted according to their timescales and summed to produce a continuous neuronal signal. Thi

实验结果

研究问题

• RQ1 SpikingGamma 是否能够在在线设置下，以最小脉冲发放的方式学习检测高度时序精确的模式，而无需替代梯度？
• RQ2 相比在线方法，SpikingGamma 如何在更高时间分辨率和更大架构规模的类神经形态基准上扩展？
• RQ3 维持自适应递归记忆并使用 sigma-delta 编码是否能够实现准确的时序信用分配，而无需 BPTT/RTRL？
• RQ4 SpikingGamma 在硬件部署方面在多大程度上产生稀疏、以时序为编码的表示？
• RQ5 SpikingGamma 在 DVS Gesture、SHD、SSC 等基准上相对于最先进的在线学习方法的表现如何？

主要发现

• SpikingGamma 实现了在没有替代梯度的情况下直接误差反向传播。
• 模型以在线方式在最小脉冲发放的前提下学习细粒度时序模式。
• SpikingGamma 在 DVS Gesture、SHD、SSC 基准上实现了具有竞争力的准确性， Oftentimes 超越在线基线。
• 时序精确性在一系列时序离散化下保持稳定，对模型时序分辨率不敏感。
• 该方法产生稀疏的脉冲码，并在分析的层面上与生物时间单元动态对齐。
• 内存使用理论上随时间保持恒定，而非基于帧数扩展的 BPTT 方法。

Figure 2 : Visualization of temporal kernel computation using a cascade of leaky “buckets” that drain into one another at different rates ( $\alpha_{k}$ ). Each bucket represents a temporal kernel.