[论文解读] Uncovering the Representation of Spiking Neural Networks Trained with Surrogate Gradient

Yuhang Li, Youngeun Kim+2 more|arXiv (Cornell University)|Apr 25, 2023

Advanced Memory and Neural Computing被引用 8

一句话总结

论文使用居中核对齐（CKA）比较用替代梯度 BPTT 训练的脉冲神经网络（SNN）与人工神经网络（ANN）的表示，整体相似性高，存在有限的独特时间表示，残差连接使 ANN 式表示更稳定。

ABSTRACT

Spiking Neural Networks (SNNs) are recognized as the candidate for the next-generation neural networks due to their bio-plausibility and energy efficiency. Recently, researchers have demonstrated that SNNs are able to achieve nearly state-of-the-art performance in image recognition tasks using surrogate gradient training. However, some essential questions exist pertaining to SNNs that are little studied: Do SNNs trained with surrogate gradient learn different representations from traditional Artificial Neural Networks (ANNs)? Does the time dimension in SNNs provide unique representation power? In this paper, we aim to answer these questions by conducting a representation similarity analysis between SNNs and ANNs using Centered Kernel Alignment (CKA). We start by analyzing the spatial dimension of the networks, including both the width and the depth. Furthermore, our analysis of residual connections shows that SNNs learn a periodic pattern, which rectifies the representations in SNNs to be ANN-like. We additionally investigate the effect of the time dimension on SNN representation, finding that deeper layers encourage more dynamics along the time dimension. We also investigate the impact of input data such as event-stream data and adversarial attacks. Our work uncovers a host of new findings of representations in SNNs. We hope this work will inspire future research to fully comprehend the representation power of SNNs. Code is released at https://github.com/Intelligent-Computing-Lab-Yale/SNNCKA.

研究动机与目标

• 评估用替代梯度训练的 SNN 是否学习到与 ANN 区别的表示。
• 考察宽度、深度和时间维度如何影响 SNN 相对于 ANN 的表示。
• 评估残差连接对表示相似性和模型性能的影响。
• 探究输入数据类型（静态 vs 基于事件）与对抗攻击对表示的影响。

提出的方法

• 在 CIFAR-10/CIFAR-100 上直接训练不同的 ResNet 和 VGG 风格网络，分别以 SNN 与 ANN 形式。
• 计算所有层中 SNN 与 ANN 表示之间的逐层 CKA。
• 分析空间（宽度/深度）与时间（时间步）对相似性的影响。
• 对残差连接进行消融，研究其对表示对齐的影响。
• 在基于事件的数据和对抗攻击下评估表示。

实验结果

研究问题

• RQ1 用替代梯度 BPTT 训练的 SNN 是否学习到与 ANN 区别的表示？
• RQ2 宽度和深度如何影响 ANN-SNN 表示相似性？
• RQ3 SNN 的时间维度是否提供独特的表示能力？
• RQ4 残差连接如何影响表示相似性和性能？
• RQ5 不同数据类型和对抗扰动如何影响 SNN 表示？

主要发现

• 使用替代梯度训练的 SNN 在各层与 ANN 的表示具有高相似性。
• 残差连接有助于正则化 SNN 表示，使其更接近 ANN，并提升性能。
• 时间维度贡献的表示能力有限；浅层显示出静态的时间行为。
• 更宽的网络往往提高 ANN-SNN 相似性，缩小性能差距。
• 基于事件的数据集可能产生不同的 ANN-SNN 相似性模式，提示 SNN 的特定优化空间。
• 与 ANN 相比，SNN 在对抗攻击下表现出更强的鲁棒性，在攻击下特征空间相似性更高。