[论文解读] SpiNNaker 2: A 10 Million Core Processor System for Brain Simulation and Machine Learning

Christian Mayr, Sebastian Hoeppner+1 more|arXiv (Cornell University)|Nov 6, 2019

Advanced Memory and Neural Computing参考文献 7被引用 89

一句话总结

SpiNNaker 2 将 SpiNNaker 从 1 million cores 扩展到 10 million cores，在 22nm FDSOI 工艺下，采用自适应体偏置和数值加速器，以提升脑仿真和深度学习工作负载，目标是在相似功耗预算内实现 >50x 的容量提升。

ABSTRACT

SpiNNaker is an ARM-based processor platform optimized for the simulation of spiking neural networks. This brief describes the roadmap in going from the current SPINNaker1 system, a 1 Million core machine in 130nm CMOS, to SpiNNaker2, a 10 Million core machine in 22nm FDSOI. Apart from pure scaling, we will take advantage of specific technology features, such as runtime adaptive body biasing, to deliver cutting-edge power consumption. Power management of the cores allows a wide range of workload adaptivity, i.e. processor power scales with the complexity and activity of the spiking network. Additional numerical accelerators will enhance the utility of SpiNNaker2 for simulation of spiking neural networks as well as for executing conventional deep neural networks. These measures should increase the simulation capacity of the machine by a factor $>$50. The interplay between the two domains, i.e. spiking and rate based, will provide an interesting field for algorithm exploration on SpiNNaker2. Apart from the platforms' traditional usage as a neuroscience exploration tool, the extended functionality opens up new application areas such as automotive AI, tactile internet, industry 4.0 and biomedical processing.

研究动机与目标

• 在扩展到 10x cores 的同时，保持 SpiNNaker1 的基于处理器的灵活性。
• 引入数值加速器以实现常见突触运算和 ML 工作负载。
• 利用 22nm FDSOI 技术与自适应体偏置实现能效高、接近阈值工作。
• 实现所有核心的动态电压和频率调整以适应工作负载。
• 扩展能力以同时支持尖峰与基于速率的神经网络模型和 ML 应用。

提出的方法

• 将核心数量扩展到 10 million cores，功率预算保持在相似水平。
• 引入用于指数函数和其他常见突触运算的数值加速器。
• 使用带有片上自适应体偏置的 22nm FDSOI 技术，以实现对近阈值操作的鲁棒性。
• 实现动态电压和频率调整，以按毫秒单位的工作负载来调整功率。
• 加入乘法累加阵列，将密集神经网络计算从处理器下放到加速器。
• 在保持基于脉冲的异步通信的同时，使 ML 加速器和 MACs 可用。

实验结果

研究问题

• RQ1 如何在不超出现有预算的情况下，将 SpiNNaker 扩展到 10 million cores？
• RQ2 在 SpiNNaker2 上，哪些加速器对尖峰和传统神经网络最有帮助？
• RQ3 自适应体偏置和接近阈值操作对可靠性和能效有何影响？
• RQ4 MACs 是否能在同一平台上高效执行深度神经网络与尖峰仿真？
• RQ5 SpiNNaker2 的混合尖峰与 ML 能力将带来哪些新的应用领域？

主要发现

• 功率管理使核心在适应尖峰工作负载的同时实现扩展。
• MACs 使神经网络计算从处理器下放到加速器。
• ABB 在不同条件下实现 0.4V 的鲁棒运行。
• 相较于 SpiNNaker1，仿真容量提升 >50x 的预测。
• 通过 DVFS 的工作负载自适应性使能耗与活动成正比。