[论文解读] Spiking Convolutional Neural Networks for Text Classification

Changze Lv, Jianhan Xu+1 more|arXiv (Cornell University)|Jun 27, 2024

Neural Networks and Applications被引用 8

一句话总结

本文提出一个两步训练方法（转换再微调）来构建用于文本分类的脉冲神经网络（SNN），利用预训练词嵌入，在显著降低能耗的同时实现具有竞争力的准确性，并展示出对对抗鲁棒性的提升。

ABSTRACT

Spiking neural networks (SNNs) offer a promising pathway to implement deep neural networks (DNNs) in a more energy-efficient manner since their neurons are sparsely activated and inferences are event-driven. However, there have been very few works that have demonstrated the efficacy of SNNs in language tasks partially because it is non-trivial to represent words in the forms of spikes and to deal with variable-length texts by SNNs. This work presents a "conversion + fine-tuning" two-step method for training SNNs for text classification and proposes a simple but effective way to encode pre-trained word embeddings as spike trains. We show empirically that after fine-tuning with surrogate gradients, the converted SNNs achieve comparable results to their DNN counterparts with much less energy consumption across multiple datasets for both English and Chinese. We also show that such SNNs are more robust to adversarial attacks than DNNs.

研究动机与目标

• 以脉冲神经网络提升NLP的能效，并解决文本表示与可变长度输入的挑战。
• 提出一个两步训练方案（转换+微调）来训练用于NLP任务的SNN。
• 开发将预训练词嵌入转换为尖峰序列的方法，使SNN能够利用大规模语言表示。
• 证明SNN在英文和中文数据集上在能耗下降的同时实现具有竞争力的准确性，并具备增强的对抗鲁棒性。

提出的方法

• 将常规TextCNN改造成适合转换的DNN：用平均池化替代最大池化、去除偏置、并确保激活为正值。
• 将预训练的词嵌入转换为正值向量，以实现基于尖峰的输入表示。
• 通过复制架构/权重并用泄漏积分-发放神经元替代激活，将定制后的DNN转换为脉冲神经网络。
• 使用来自嵌入的泊松生成尖峰序列，结合代理梯度反向传播（时间展开）对转换后的SNN进行微调。
• 使用跨熵尖峰率损失（KL散度风格）在时间步上训练SNN，在每一步使用Softmax进行预测。
• 在嵌入的使用及转换必要性等方面进行消融研究，以评估能量效率和鲁棒性。

Figure 1: An illustration of a two-step method (conversion + fine-tuning) for training spiking neural networks for text classification: initialize an SNN with the weights of a tailored network trained with the gradient descent, and perform backpropagation with surrogate gradients on the converted SN

实验结果

研究问题

• RQ1 两步转换+微调策略是否能训练出用于文本分类的有效SNN？
• RQ2 在转换为尖峰序列后，预训练词嵌入是否为SNN性能带来显著益处？
• RQ3 在不同语言（英语和中文）和数据集上，转换+微调的SNN在准确性和能量效率方面如何与DNN对手相比？
• RQ4 SNN在NLP任务中的对抗攻击鲁棒性是否优于传统DNN？
• RQ5 超参数（时间步、膜阈值、衰减）对性能与能耗的影响如何？

主要发现

• 转换后SNN+FT在六个数据集上实现接近原始TextCNN的竞争性准确率，英文平均下降2.51%、中文平均下降1.78%。
• 微调后的SNN相比未微调的转换有最高1.32%的提升，并降低了输出方差。
• 采用转换+微调训练的SNN在能耗方面显示显著节省，平均比TextCNN降低超过10倍（据报道）。
• SNN在对抗攻击方面表现出更强的鲁棒性，评估数据集上的鲁棒性平均提升为13.55%，攻击成功率下降约17%。
• 消融研究显示转换是必需的；使用预训练嵌入相比随机嵌入在性能上有可衡量的提升（最高约1.39%）。

(b) Backpropagation through time (BPTT)