[论文解读] Visual Explanations from Spiking Neural Networks using Interspike Intervals

Youngeun Kim, Priyadarshini Panda|arXiv (Cornell University)|Mar 26, 2021

Advanced Memory and Neural Computing参考文献 52被引用 9

一句话总结

本文提出Spike Activation Map（SAM），一种生物可塑的SNN可视化方法，无需反向传播或类别标签即可解释内部脉冲活动。通过利用脉冲间隔（ISIs）和带有指数核的时间脉冲贡献分数，SAM通过前向传播生成注意力图，突出显示具有判别性的图像区域，展现出对对抗性攻击的鲁棒性以及感官抑制行为。

ABSTRACT

Spiking Neural Networks (SNNs) compute and communicate with asynchronous binary temporal events that can lead to significant energy savings with neuromorphic hardware. Recent algorithmic efforts on training SNNs have shown competitive performance on a variety of classification tasks. However, a visualization tool for analysing and explaining the internal spike behavior of such temporal deep SNNs has not been explored. In this paper, we propose a new concept of bio-plausible visualization for SNNs, called Spike Activation Map (SAM). The proposed SAM circumvents the non-differentiable characteristic of spiking neurons by eliminating the need for calculating gradients to obtain visual explanations. Instead, SAM calculates a temporal visualization map by forward propagating input spikes over different time-steps. SAM yields an attention map corresponding to each time-step of input data by highlighting neurons with short inter-spike interval activity. Interestingly, without both the backpropagation process and the class label, SAM highlights the discriminative region of the image while capturing fine-grained details. With SAM, for the first time, we provide a comprehensive analysis on how internal spikes work in various SNN training configurations depending on optimization types, leak behavior, as well as when faced with adversarial examples.

研究动机与目标

• 为日益应用于低功耗场景的脉冲神经网络（SNNs）解决可解释性工具缺乏的问题。
• 开发一种不依赖反向传播或类别标签的可视化方法，克服脉冲神经元不可微的限制。
• 分析不同SNN训练配置（包括替代梯度法与转换法）下内部脉冲动态的变化。
• 评估SNN及其解释在对抗性攻击和多目标刺激下的鲁棒性。

提出的方法

• SAM基于每个神经元的时间脉冲历史计算神经元贡献分数（NCS），使用指数核突出显示短时间间隔的脉冲（ISIs）。
• 时间脉冲贡献分数（TSCS）为在短时间内窗内发生的脉冲分配更高数值，反映其更高的信息含量。
• NCS在通道维度上聚合，生成表示每个时间步注意力图的2D空间热力图。
• 该方法仅通过前向传播实现，无需梯度或反向传播。
• SAM应用于多种SNN架构（如VGG11）和训练方法，包括替代梯度法与ANN-SNN转换法。
• 通过Tiny-ImageNet数据集和对抗性攻击（FGSM）验证方法，并与Grad-CAM进行比较。

实验结果

研究问题

• RQ1 如何在不依赖反向传播或类别标签的情况下可视化SNN的内部脉冲活动？
• RQ2 不同的SNN训练方法（如替代梯度法与转换法）如何影响脉冲动态与可解释性？
• RQ3 超参数如漏电因子（λ）和核陡度（γ）对可视化质量与定位准确率有何影响？
• RQ4 与传统的可视化工具（如Grad-CAM）相比，SAM在对抗性攻击下的表现如何？
• RQ5 SNN是否表现出生物可塑行为（如感官抑制），SAM能否揭示这些行为？

主要发现

• 当漏电因子较高（λ=0.9）时，SAM实现低定位误差（0.97），表明神经元中足够的记忆保持可提升可视化质量。
• 低漏电值（λ=0.7）导致准确率显著下降（从56.57%降至47.53%），并因膜电位过度遗忘而造成可视化质量差。
• 最优γ值（如γ=0.5）可最小化定位误差；γ=0（无滤波）与γ=1.0（窗口过短）均会降低性能。
• 在FGSM攻击下，SAM保持一致的注意力图，而Grad-CAM则显示显著变化，表明SNN解释具有更优的鲁棒性。
• 采用替代梯度法训练的SNN表现出感官抑制行为：随着时间推移，神经元从关注多个对象转向聚焦于单一主导对象，SAM可揭示此现象。
• SAM在无需任何类别标签或梯度计算的情况下成功突出显示具有判别性的图像区域，证明了其无标签可解释性。