[论文解读] Toward Robust Spiking Neural Network Against Adversarial Perturbation

Ling Liang, Kaidi Xu+3 more|arXiv (Cornell University)|Apr 12, 2022

Advanced Memory and Neural Computing被引用 8

一句话总结

本文提出了 S-IBP 和 S-CROWN，这是首个针对脉冲神经网络（SNNs）的认证鲁棒训练方法，通过形式化 SNN 特有的非线性特性及输入类型（脉冲/数字）的边界。该方法在原始准确率仅下降 3.7% 的情况下，将对抗攻击错误率最高降低了 37.7%，首次实现了端到端的鲁棒 SNN 训练框架。

ABSTRACT

As spiking neural networks (SNNs) are deployed increasingly in real-world efficiency critical applications, the security concerns in SNNs attract more attention. Currently, researchers have already demonstrated an SNN can be attacked with adversarial examples. How to build a robust SNN becomes an urgent issue. Recently, many studies apply certified training in artificial neural networks (ANNs), which can improve the robustness of an NN model promisely. However, existing certifications cannot transfer to SNNs directly because of the distinct neuron behavior and input formats for SNNs. In this work, we first design S-IBP and S-CROWN that tackle the non-linear functions in SNNs' neuron modeling. Then, we formalize the boundaries for both digital and spike inputs. Finally, we demonstrate the efficiency of our proposed robust training method in different datasets and model architectures. Based on our experiment, we can achieve a maximum $37.7\%$ attack error reduction with $3.7\%$ original accuracy loss. To the best of our knowledge, this is the first analysis on robust training of SNNs.

研究动机与目标

• 为应对脉冲神经网络（SNNs）在日益关键的能效敏感应用场景中面临的对抗攻击安全问题。
• 将此前在人工神经网络（ANNs）中有效的认证鲁棒训练方法扩展至 SNNs，尽管其神经元动态和输入格式存在显著差异。
• 在 SNN 中为脉冲输入和数字输入分别形式化 ℓ₀ 和 ℓ∞ 范数下的输入边界。
• 开发一种鲁棒训练框架，确保对 SNN 中对抗扰动的保证鲁棒性。
• 在多个数据集和网络架构上评估该方法的有效性，展示鲁棒性与准确率之间的实际权衡。

提出的方法

• 提出 S-IBP 和 S-CROWN，作为认证训练在 SNN 中的扩展，以处理 SNN 中的非线性脉冲发放函数和时间域膜电位更新。
• 形式化 SNN 运算的线性松弛边界，包括空间（卷积/全连接）和时间（漏电积分）组件。
• 为脉冲输入（使用 ℓ₀ 和 ℓ∞ 范数）和数字输入定义输入边界，实现跨输入类型的鲁棒性认证。
• 在训练期间采用修改后的时间步长调度 T′（设为 3），以平衡时间动态捕捉与计算效率。
• 端到端应用鲁棒训练流程，通过 S-CROWN 损失同时优化干净准确率和认证鲁棒性。
• 基于不同数据集和网络架构上原始准确率与鲁棒误差降低之间的权衡，选择最优的 ε 值用于鲁棒训练。

实验结果

研究问题

• RQ1 尽管 SNN 具有独特的神经元动态和输入格式，能否将 ANN 中的认证鲁棒训练方法适配到 SNN 中？
• RQ2 如何为 SNN 中的非线性脉冲发放函数和时间域膜电位更新形式化紧致边界？
• RQ3 在 SNN 中，针对脉冲输入和数字输入，在 ℓ₀ 和 ℓ∞ 范数下，有效的输入边界公式是什么？
• RQ4 鲁棒训练的时间步长 T′ 的选择如何影响 SNN 中干净准确率与鲁棒性之间的权衡？
• RQ5 认证鲁棒训练在多大程度上能降低 SNN 的对抗攻击错误率，同时保持原始模型准确率？

主要发现

• 所提出的 S-IBP 和 S-CROWN 方法在 MNIST 数据集上实现了最高 37.7% 的对抗攻击错误率降低，同时原始准确率仅下降 3.7%。
• 该方法在多个数据集（包括 MNIST、FMNIST 和 NMNIST）上均表现出更强的鲁棒性，性能提升稳定。
• 最优的鲁棒训练时间步长 T′ 确定为 3，实现了时间动态捕捉与计算效率的平衡。
• 在全连接网络中，鲁棒训练比在卷积网络中更稳定，尤其是在较大的 ε 值下。
• 在卷积架构中，鲁棒性提升最为显著，因为其更高的参数容量使得模型能更好地适应对抗扰动。
• 即使在训练期间使用较小的 ε，模型对更大 ε 的攻击也表现出更强的鲁棒性，表明认证边界的良好泛化能力。