[论文解读] Wearable-based Human Activity Recognition with Spatio-Temporal Spiking Neural Networks

Yuhang Li, Ruokai Yin+3 more|arXiv (Cornell University)|Nov 14, 2022

Context-Aware Activity Recognition Systems被引用 7

一句话总结

本文提出用于可穿戴设备人体活动识别（HAR）的时空脉冲神经网络（SNNs），利用漏极积分-放电（LIF）神经元建模时间动态性，实现能效高效的推理。SNNs 在准确率与人工神经网络（ANNs）相当或更优的同时，将能耗降低高达94%，显著提升了面向边缘部署的HAR系统的能效表现。

ABSTRACT

We study the Human Activity Recognition (HAR) task, which predicts user daily activity based on time series data from wearable sensors. Recently, researchers use end-to-end Artificial Neural Networks (ANNs) to extract the features and perform classification in HAR. However, ANNs pose a huge computation burden on wearable devices and lack temporal feature extraction. In this work, we leverage Spiking Neural Networks (SNNs)--an architecture inspired by biological neurons--to HAR tasks. SNNs allow spatio-temporal extraction of features and enjoy low-power computation with binary spikes. We conduct extensive experiments on three HAR datasets with SNNs, demonstrating that SNNs are on par with ANNs in terms of accuracy while reducing up to 94% energy consumption. The code is publicly available in https://github.com/Intelligent-Computing-Lab-Yale/SNN_HAR

研究动机与目标

• 解决基于可穿戴传感器的深度学习HAR中能耗过高与时间建模能力有限的问题。
• 探索脉冲神经网络（SNNs）在端到端HAR任务中处理时间序列传感器数据的可行性与性能表现。
• 在标准HAR基准数据集上，评估SNNs与ANNs在准确率与能效方面的表现差异。
• 研究SNNs对超参数的敏感性，特别是时间常数τ、放电阈值Vth及重置机制。
• 证明SNNs可在实现超低功耗推理的同时，匹配或超越ANN的性能表现，适用于可穿戴设备。

提出的方法

• 研究采用漏极积分-放电（LIF）脉冲神经元，其膜电位随时间保持，并在电位超过阈值时产生二值脉冲。
• 膜电位通过时间常数τ衰减，实现时间步之间的时序相关性；τ=0.0表示无记忆，τ=1.0则趋近于ReLU行为。
• SNNs通过时间反向传播与替代梯度进行训练，实现对时空特征的端到端优化。
• 网络架构结合卷积层与SNNs，从多变量传感器时间序列（如加速度计、陀螺仪）中提取空间与时间特征。
• 评估了两种SNN变体：SpikeCNN与SpikeDCL，并对时间常数τ、放电阈值Vth及重置机制（硬重置与软重置）进行消融研究。
• 能耗通过硬件仿真测量，ANN能耗归一化为1以供对比。

实验结果

研究问题

• RQ1 SNNs能否在可穿戴设备HAR任务中实现与ANNs相当或更优的准确率？
• RQ2 SNNs在保持高准确率的前提下，相比ANNs最多可降低多少能耗？
• RQ3 SNN性能对超参数（如时间常数τ、放电阈值Vth及重置机制）的敏感程度如何？
• RQ4 通过LIF神经元引入时间动态特性后，相比标准ANNs，SNNs在时间序列HAR数据上的性能是否有所提升？
• RQ5 软重置机制是否比硬重置更有效地保留SNN中的时序信息？

主要发现

• 在UCI-HAR数据集上，SpikeDCL模型达到98.86%的准确率，优于最佳ANN基线（97.87%）
• 在SHAR数据集上，SpikeCNN达到94.04%的准确率，显著优于最佳ANN（96.02%）
• 在HHAR数据集上，SpikeDCL达到97.52%的准确率，与最佳ANN性能持平
• 在所有数据集上，SNNs相比ANNs将能耗降低高达94%
• 时间常数τ对性能有显著影响：在UCI-HAR上，τ=0.75时准确率达98.86%，而τ=1.0时下降至96.60%
• 软重置机制在所有数据集与模型中均持续优于硬重置，表明其能更好地保留时序动态特性