[论文解读] Spiking Graph Convolutional Networks

Zulun Zhu, Jiaying Peng+4 more|arXiv (Cornell University)|May 5, 2022

Advanced Memory and Neural Computing被引用 7

一句话总结

本文提出 SpikingGCN，这是首个端到端的脉冲图卷积网络，通过图卷积操作直接将图数据编码为脉冲序列，实现生物逼真、能效高效的推理。其在引文网络、图像图和推荐系统任务上均取得具有竞争力的性能，同时显著降低能耗，证明了其在神经形态硬件上部署的可行性。

ABSTRACT

Graph Convolutional Networks (GCNs) achieve an impressive performance due to the remarkable representation ability in learning the graph information. However, GCNs, when implemented on a deep network, require expensive computation power, making them difficult to be deployed on battery-powered devices. In contrast, Spiking Neural Networks (SNNs), which perform a bio-fidelity inference process, offer an energy-efficient neural architecture. In this work, we propose SpikingGCN, an end-to-end framework that aims to integrate the embedding of GCNs with the biofidelity characteristics of SNNs. The original graph data are encoded into spike trains based on the incorporation of graph convolution. We further model biological information processing by utilizing a fully connected layer combined with neuron nodes. In a wide range of scenarios (e.g. citation networks, image graph classification, and recommender systems), our experimental results show that the proposed method could gain competitive performance against state-of-the-art approaches. Furthermore, we show that SpikingGCN on a neuromorphic chip can bring a clear advantage of energy efficiency into graph data analysis, which demonstrates its great potential to construct environment-friendly machine learning models.

研究动机与目标

• 解决传统图卷积网络（GCNs）在资源受限环境中计算和能耗成本过高的问题。
• 将 GCNs 的表征能力与脉冲神经网络（SNNs）的能效优势相结合，用于图结构化数据。
• 开发一种直接的、端到端的 SNN 框架，用于图上的节点分类，无需预训练或从人工神经网络（ANNs）转换。
• 展示 SNN 在多样化图学习任务（包括图像图分类和推荐系统中的矩阵补全）上的泛化能力与能效优势。
• 通过生物合理的脉冲编码与处理方式，实现图学习模型在神经形态硬件上的实际部署。

提出的方法

• 提出一种脉冲编码器，利用图卷积操作将节点特征转换为脉冲序列，保留结构信息。
• 采用具有漏电流积分-发放（LIF）神经元的全连接脉冲神经网络，处理编码后的脉冲序列并生成预测。
• 使用时钟驱动的推理机制模拟事件驱动处理，实现在神经形态硬件上的能效计算。
• 采用时间编码方式将节点特征表示为时间序列的脉冲，使 SNN 能够处理非欧几里得图数据。
• 将框架扩展至图像图分类任务，将超像素区域视为图节点，并应用相似的脉冲编码与处理方法。
• 针对推荐系统进行模型适配，将用户-物品交互建模为图，并采用基于脉冲的矩阵补全方法，实现低均方根误差（RMSE）。

实验结果

研究问题

• RQ1 SpikingGCN 是否能在保持低能耗的同时，在引文网络上实现具有竞争力的节点分类准确率？
• RQ2 基于图卷积的时间编码方式在多大程度上能为 SNN 保留结构与特征信息？
• RQ3 SpikingGCN 是否能泛化至非节点分类任务，如图像图分类和推荐系统中的矩阵补全？
• RQ4 与传统深度学习模型相比，SpikingGCN 在神经形态硬件上部署时的能效表现如何？
• RQ5 在多样化图学习任务中，端到端 SNN 框架是否在准确率与能效方面均优于现有的 SNN 和 ANN 基线模型？

主要发现

• 在 MNIST 网格图像分类任务中，SpikingGCN 达到 99.35% 的测试准确率，优于其他 SNN 基线模型，并与最先进（SOTA）的 ANN 模型相当。
• 在 MNIST 超像素数据集上，SpikingGCN 在 10 次运行中平均准确率达到 94.50%，展现出对图结构化图像数据的强大泛化能力。
• 在 MovieLens 100K 推荐系统数据集上，SpikingGCN 的 RMSE 为 0.924，优于大多数基线模型，接近最先进性能（0.910）。
• 与传统 GCNs 相比，SpikingGCN 显著降低了能耗，在神经形态硬件（如 Intel Loihi）上表现出可测量的优势。
• 模型在低数据设置下表现稳健，表明其在训练样本有限时仍具备强大的泛化能力。
• 该框架具有良好的可扩展性与兼容性，适用于多种图学习任务，包括节点分类、图像图分类和协同过滤。