[论文解读] WaveSense: Efficient Temporal Convolutions with Spiking Neural Networks for Keyword Spotting

Philipp Weidel, Sadique Sheik|arXiv (Cornell University)|Nov 2, 2021

Advanced Memory and Neural Computing被引用 5

一句话总结

WaveSense 提出了一种受 WaveNet 启发的脉冲神经网络，用 LIF 神经元的固有突触和膜电位动态替代了膨胀时间卷积，实现了对脉冲流的高效、无延迟处理，适用于关键词检测。该方法在 SpeechCommands 和 Aloha 数据集上实现了接近最先进水平的准确率，同时具备极高的内存效率，适合神经形态硬件部署。

ABSTRACT

Ultra-low power local signal processing is a crucial aspect for edge applications on always-on devices. Neuromorphic processors emulating spiking neural networks show great computational power while fulfilling the limited power budget as needed in this domain. In this work we propose spiking neural dynamics as a natural alternative to dilated temporal convolutions. We extend this idea to WaveSense, a spiking neural network inspired by the WaveNet architecture. WaveSense uses simple neural dynamics, fixed time-constants and a simple feed-forward architecture and hence is particularly well suited for a neuromorphic implementation. We test the capabilities of this model on several datasets for keyword-spotting. The results show that the proposed network beats the state of the art of other spiking neural networks and reaches near state-of-the-art performance of artificial neural networks such as CNNs and LSTMs.

研究动机与目标

• 开发一种适用于持续运行的边缘设备的低功耗、高效时间处理架构，用于关键词检测。
• 用内在的脉冲神经动力学替代传统的时间膨胀卷积，以提高能效。
• 实现在无需缓冲或显式延迟的情况下，直接处理脉冲流，从而降低内存开销。
• 在仅使用简单 LIF 神经元和前馈架构的前提下，实现与最先进人工神经网络（如 CNN、LSTM）相当的高准确率。
• 设计一种与神经形态硬件上流式推理兼容的训练策略。

提出的方法

• 利用漏电积分-发放（LIF）神经元的固有时间积分特性，无需显式循环或膨胀结构即可建模长程依赖关系。
• 在类似 WaveNet 的架构中使用因果膨胀卷积，但将滤波器替换为脉冲神经元动力学，以隐式建模时间上下文。
• 采用简单的前馈 SNN，时间常数固定且无自适应机制，从而实现高效的神经形态部署。
• 通过 SRM 框架和 SLAYER 算法，采用基于代理梯度的训练方法，以优化脉冲网络权重。
• 设计了一种面向任务的损失函数，聚焦于关键词出现期间的峰值响应，以提升检测准确率。
• 将时间记忆容量计算为各层时间常数之和的正比量，比例系数约为 2.5，以匹配任务持续时间。

实验结果

研究问题

• RQ1 脉冲神经动力学能否自然替代序列建模中用于关键词检测的时间膨胀卷积？
• RQ2 仅使用固定 LIF 神经元的简单前馈 SNN 能否在音频分类任务中实现接近最先进人工神经网络的性能？
• RQ3 如何在不使用显式延迟或缓冲的情况下，高效地在脉冲网络中编码时间记忆？
• RQ4 在流式推理设置中，通过面向任务的损失函数能在多大程度上提升 SNN 的性能？
• RQ5 所提出的架构能否在内存和计算开销极小的前提下，高效部署于神经形态硬件？

主要发现

• WaveSense 在 Aloha 关键词检测数据集上达到 98.0±1.1% 的准确率，优于先前最先进 SNN 方法，接近最先进 ANNs 水平。
• 在 SpeechCommands 数据集上，WaveSense 达到 79.6±0.1% 的准确率，超越以往基于 SNN 的方法，在标准基准上表现出色。
• 该模型无需缓冲历史脉冲或显式延迟，每层内存使用量为 O(k+1)，相比 WaveNet 的 O((k-1)·d+1) 显著降低。
• 时间记忆容量与各层时间常数之和成正比，比例系数约为 2.5 时可实现最优任务性能。
• 该架构对硬件限制具有鲁棒性：即使时间常数分辨率有限，通过合理组合层结构仍可维持性能。
• 在 LIF 神经元仿真上进行微调可恢复性能，证实该方法与数字神经形态平台的兼容性。