[论文解读] Theory and Tools for the Conversion of Analog to Spiking Convolutional Neural Networks

Bodo Rueckauer, Iulia-Alexandra Lungu+2 more|arXiv (Cornell University)|Dec 13, 2016

Advanced Memory and Neural Computing参考文献 19被引用 103

一句话总结

该论文提出了一个 ANN-to-SNN 转换的理论，并引入实用工具，将 CNNs（含偏置、批归一化、最大池化和 softmax）转换为几乎无损的 SNNs，在 CIFAR-10 和 MNIST 上取得了最先进的结果。

ABSTRACT

Deep convolutional neural networks (CNNs) have shown great potential for numerous real-world machine learning applications, but performing inference in large CNNs in real-time remains a challenge. We have previously demonstrated that traditional CNNs can be converted into deep spiking neural networks (SNNs), which exhibit similar accuracy while reducing both latency and computational load as a consequence of their data-driven, event-based style of computing. Here we provide a novel theory that explains why this conversion is successful, and derive from it several new tools to convert a larger and more powerful class of deep networks into SNNs. We identify the main sources of approximation errors in previous conversion methods, and propose simple mechanisms to fix these issues. Furthermore, we develop spiking implementations of common CNN operations such as max-pooling, softmax, and batch-normalization, which allow almost loss-less conversion of arbitrary CNN architectures into the spiking domain. Empirical evaluation of different network architectures on the MNIST and CIFAR10 benchmarks leads to the best SNN results reported to date.

研究动机与目标

• 通过脉冲神经网络（SNN）实现快速、低功耗推理的需求的动机。
• 提供 SNN 发放率近似 ReLU 激活的理论基础。
• 扩展转换工具以覆盖常见的 CNN 特征（偏置、批归一化、最大池化、softmax）。
• 在 CIFAR-10 和 MNIST 基准测试中展示接近无损的 ANN-to-SNN 转换。

提出的方法

• 推导膜电位与重置动力学，将 ANN 激活与 SNN 发放率联系起来，并展示通过减法重置实现无偏近似器。
• 将权重归一化推广到处理偏置的情况（最大范数和基于鲁棒百分位的归一化）。
• 将批归一化效应整合到权重中，以实现 BN 层转换而无需额外步骤。
• 使模拟输入进入第一隐藏层，以改善低激活区间的性能。
• 通过外部泊松脉冲发生器实现脉冲 softmax，以进行具有竞争性的 softmax 决策。
• 提出基于在线发放率估计来实现带门控的脉冲最大池化。

实验结果

研究问题

• RQ1 在现实的脉冲动力学下，ANN 激活是否可以被 SNN 发放率准确近似？
• RQ2 如何在不显著损失的情况下，将 ANN-to-SNN 转换扩展到包含偏置、BN、最大池化和 softmax？
• RQ3 哪些归一化策略能在保持合理延迟的同时最大化转化后的准确性？
• RQ4 对第一隐藏层进行模拟输入是否能提升更大网络的转换性能？
• RQ5 在将常见 CNN 组件转换到脉冲域时，准确性和延迟会有什么影响？

主要发现

• 接近无损的转换在 CIFAR-10 上是可实现的（最佳约 87.62–87.82% 取决于归一化和输入策略）。
• 通过重置以减法可以改进 ANN-to-SNN 的近似，并使更深的网络接近 ANN 的准确性。
• 对第一隐藏层的模拟输入可显著提升 CIFAR-10 的结果（在某些设置下最高可达 83.6%，在鲁棒归一化下可达 87.62%）。
• 使用基于百分位的尺度进行鲁棒权重归一化（例如 99th–99.9th 百分位）优于最大激活归一化，可避免欠激发同时限制饱和。
• 在 MNIST 上，采用 7 层网络并使用最大池化的转换在转换后达到 99.44%，超过了以往的 SNN 结果。
• 在 CIFAR-10 上，结合所提出的方法，可以将含有 4 个卷积层的 CNN 转换，最终的 SNN 精度接近其 ANN 基线（87.86% 的 ANN → ~87.6–87.8% 的 SNN）。