[论文解读] SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking

Xingrun Xing, Boyan Gao+6 more|arXiv (Cornell University)|Jul 5, 2024

Ferroelectric and Negative Capacitance Devices被引用 4

一句话总结

SpikeLLM 通过将显著性驱动的脉冲动力学整合到 LLM 中，首次实现了 7–700 亿参数的脉冲大语言模型（SNN），并采用一种新颖的最优脑脉冲（Optimal Brain Spiking）框架，实现高效、高精度的量化。它在 OmniQuant 和 GPTQ 两种量化流程中均达到当前最优性能，将 WikiText2 的困惑度降低 25.51%，在准确率和稀疏性方面优于 PB-LLM，同时通过三值脉冲神经元实现完全可加性线性层。

ABSTRACT

Recent advancements in large language models (LLMs) with billions of parameters have improved performance in various applications, but their inference processes demand significant energy and computational resources. In contrast, the human brain, with approximately 86 billion neurons, is much more energy-efficient than LLMs with similar parameters. Inspired by this, we redesign 7$\sim$70 billion parameter LLMs using bio-plausible spiking mechanisms, emulating the efficient behavior of the human brain. We propose the first spiking large language model, SpikeLLM. Coupled with the proposed model, two essential approaches are proposed to improve spike training efficiency: Generalized Integrate-and-Fire (GIF) neurons to compress spike length from $T$ to $\frac{T}{L} \log_2 L$ bits, and an Optimal Brain Spiking framework to divide outlier channels and allocate different $T$ for GIF neurons, which further compresses spike length to approximate $log_2T$ bits. The necessity of spike-driven LLM is proved by comparison with quantized LLMs with similar operations. In the OmniQuant pipeline, SpikeLLM reduces 11.01% WikiText2 perplexity and improves 2.55% accuracy of common scene reasoning on a LLAMA-7B W4A4 model. In the GPTQ pipeline, SpikeLLM achieves direct additive in linear layers, significantly exceeding PB-LLMs.

研究动机与目标

• 通过在脉冲神经网络（SNN）中模拟大脑的能量效率，解决大语言模型（LLM）的高能耗与高计算成本问题。
• 克服 SNN 在扩展至 LLM 时的瓶颈问题——如脉冲频率编码效率低下和非可微分的脉冲动力学。
• 使大规模 SNN 能够在保持事件驱动、稀疏计算的同时，达到或超越量化人工神经网络（ANN）的性能。
• 开发一种即插即用的量化框架，可集成至主流的后训练量化流程（如 OmniQuant 和 GPTQ）中。
• 通过三值脉冲神经元实现 SNN 中的完全可加性线性层，从而实现高效、稀疏且高精度的推理。

提出的方法

• 提出广义积分-放电（GIF）神经元，通过多步脉冲自回归编码显著特征，提升相比标准速率编码的语义表达能力。
• 提出最优脑脉冲框架——一种基于显著性的量化框架，利用一阶梯度进行激活通道选择，采用二阶 Hessian 近似进行权重通道选择。
• 应用通道级显著异常值扩展机制，即显著通道分配更多脉冲步数（T 步），非显著通道则使用一到几步。
• 将框架集成至主流量化流程中：OmniQuant（4A4W）与 GPTQ（仅权重量化），实现与现有训练工作流的兼容。
• 采用三值 GIF 神经元实现完全可加性线性层，以事件驱动的脉冲机制替代混合精度量化，提升效率与精度。
• 使用等效脉冲步数作为指标，对 SNN 与 BNN 进行公平比较，确保计算成本与稀疏性的合理评估。

实验结果

研究问题

• RQ1 脉冲神经网络能否在保持高性能与高能效的前提下，扩展至 70–700 亿参数的 LLM？
• RQ2 与传统量化方法相比，基于显著性的脉冲机制如何提升低比特量化 LLM 的语义表达能力与泛化能力？
• RQ3 脉冲动力学能否在 SNN 中实现完全可加性线性层，并达到或超越如 PB-LLM 等二值神经网络的性能？
• RQ4 与随机脉冲步数分配相比，最优脑脉冲框架在准确率与鲁棒性方面表现如何？
• RQ5 基于显著性的脉冲机制在大规模 LLM 中，能在多大程度上降低能耗与推理延迟？

主要发现

• 与 OmniQuant-4A4W 基线相比，SpikeLLM 在 LLAMA2-7B 上将 WikiText2 的困惑度降低 25.51%，在序列建模任务中展现出显著性能提升。
• 在 6 个数据集的零样本评估中，SpikeLLM 相较于 OmniQuant-4A4W 基线，平均准确率提升 3.08%。
• SpikeLLM 通过三值 GIF 神经元实现完全可加性线性层，实现稀疏、事件驱动的计算，无需混合精度量化。
• 在与 PB-LLM 的对比中，SpikeLLM 在 100% 活跃通道（ACs）与 1.25 个等效步数下达到 52.10% 的平均准确率，优于 PB-LLM 在 95% ACs 与 1.35 个等效步数下的表现。
• 最优脑脉冲框架在激活与权重通道中均显著优于随机脉冲步数分配，证明了基于显著性的分配策略的有效性。
• SpikeLLM 在 70:25:5 脉冲步数分布下，实现 65.83% 的 PIQA 准确率与 68.47% 的 ARC-e 准确率，展现出强大的零样本泛化能力。