[论文解读] Single Flux Quantum Based Ultrahigh Speed Spiking Neuromorphic Processor Architecture

Ali Bozbey, Mustafa Altay Karamuftuoglu+2 more|arXiv (Cornell University)|Dec 26, 2018

Neural Networks and Reservoir Computing参考文献 106被引用 12

一句话总结

本文提出一种基于单通量量子（SFQ）技术的脉冲神经形态处理器架构，采用约瑟夫森结神经元（JJ-Neurons）——一种具备超高速运行能力的超导人工神经元。该架构实现了每秒1.2×10¹⁰次突触操作（SOPS），能量效率达8.57×10¹¹ SOPS/W，且在IRIS数据集上实现100%准确率，可扩展至10¹⁸ SOPS和10¹⁷ SOPS/W，相较CMOS与纳米光子学系统实现数量级以上的性能提升。

ABSTRACT

Artificial neural networks inspired by brain operations can improve the possibilities of solving complex problems more efficiently. Today's computing hardware, on the other hand, is mainly based on von Neumann architecture and CMOS technology, which is inefficient at implementing neural networks. For the first time, we propose an ultrahigh speed, spiking neuromorphic processor architecture built upon single flux quantum (SFQ) based artificial neurons (JJ-Neuron). Proposed architecture has the potential to provide higher performance and power efficiency over the state of the art including CMOS, memristors and nanophotonics devices. JJ-Neuron has the ultrafast spiking capability, trainability with commodity design software even after fabrication and compatibility with commercial CMOS and SFQ foundry services. We experimentally demonstrate the soma part of the JJ-Neuron for various activation functions together with peripheral SFQ logic gates. Then, the neural network is trained for the IRIS dataset and we have shown 100% match with the results of the offline training with 1.2x${10}^{10}$ synaptic operations per second (SOPS) and 8.57x${10}^{11}$ SOPS/W performance and power efficiency, respectively. In addition, scalability for ${10}^{18}$ SOPS and ${10}^{17}$ SOPS/W is shown which is at least five orders of magnitude more efficient than the state of the art CMOS circuits and one order of magnitude more efficient than estimations of nanophotonics-based architectures.

研究动机与目标

• 为克服冯·诺依曼架构与基于CMOS的架构在实现人工神经网络时的低效性。
• 开发一种基于超导单通量量子（SFQ）技术的神经形态处理器，具备超高速与超高能效特性。
• 设计可训练、可扩展且与CMOS兼容的人工神经元，基于约瑟夫森结（JJ-Neurons）。
• 通过标准数据集的实验验证，实现对实时、高速神经网络推理的演示。
• 为实现百亿亿级神经形态计算铺平道路，其能效相较当前最先进技术实现数量级以上的提升。

提出的方法

• 该架构围绕JJ-Neurons构建——基于约瑟夫森结的人工神经元，可实现亚100 fs的开关速度。
• 通过SFQ逻辑门，实验验证了JJ-Neuron胞体在多种激活函数下的功能表现。
• 集成外围SFQ逻辑电路，以支持脉冲编码、解码与突触运算。
• 神经网络使用标准软件工具进行训练，并在制造后编译为SFQ硬件适配版本。
• 系统利用超导电路的固有高速与低能量损耗特性，实现高SOPS与SOPS/W指标。
• 通过外推模型分析可扩展性，预测性能可扩展至10¹⁸ SOPS与10¹⁷ SOPS/W。

实验结果

研究问题

• RQ1 超导神经形态处理器能否显著超越基于CMOS的系统，在速度与能效方面实现大幅提升？
• RQ2 JJ-Neurons是否可在制造后使用传统设计工具进行训练，从而实现实际部署？
• RQ3 SFQ逻辑与神经元件能否实现共集成，形成功能完整且可扩展的神经形态处理器？
• RQ4 在真实推理任务（如IRIS数据集）中，可实现的性能指标（SOPS、SOPS/W）为何？
• RQ5 该架构在多大程度上可扩展至百亿亿级神经形态计算水平？

主要发现

• 通过SFQ逻辑门，实验验证了JJ-Neuron胞体在多种激活函数下的功能可靠性。
• 训练后的神经网络在IRIS数据集上实现100%分类准确率，与离线训练结果完全一致。
• 系统实现每秒1.2×10¹⁰次突触操作（SOPS），能量效率达8.57×10¹¹ SOPS/W。
• 该架构可扩展至10¹⁸ SOPS与10¹⁷ SOPS/W，相较当前最先进CMOS电路至少提升五个数量级。
• 该设计兼容商用CMOS与SFQ代工厂服务，支持实际制造与集成。
• 系统在制造后可通过通用EDA工具实现可训练性，支持灵活部署。