[论文解读] The Brain on Low Power Architectures - Efficient Simulation of Cortical Slow Waves and Asynchronous States

Roberto Ammendola, A. Biagioni+11 more|arXiv (Cornell University)|Apr 10, 2018

Advanced Memory and Neural Computing被引用 3

一句话总结

本文评估了在基于ARM的低功耗架构与传统x86服务器上，使用DPSNN脉冲神经网络模拟器模拟皮层慢波的能量效率。结果表明，尽管原始性能较低，ARM平台在每个突触事件上的单位能耗仍降低了3倍，凸显其在节能型脑模拟和未来高性能计算（HPC）系统中的潜力。

ABSTRACT

Efficient brain simulation is a scientific grand challenge, a parallel/distributed coding challenge and a source of requirements and suggestions for future computing architectures. Indeed, the human brain includes about 10^15 synapses and 10^11 neurons activated at a mean rate of several Hz. Full brain simulation poses Exascale challenges even if simulated at the highest abstraction level. The WaveScalES experiment in the Human Brain Project (HBP) has the goal of matching experimental measures and simulations of slow waves during deep-sleep and anesthesia and the transition to other brain states. The focus is the development of dedicated large-scale parallel/distributed simulation technologies. The ExaNeSt project designs an ARM-based, low-power HPC architecture scalable to million of cores, developing a dedicated scalable interconnect system, and SWA/AW simulations are included among the driving benchmarks. At the joint between both projects is the INFN proprietary Distributed and Plastic Spiking Neural Networks (DPSNN) simulation engine. DPSNN can be configured to stress either the networking or the computation features available on the execution platforms. The simulation stresses the networking component when the neural net - composed by a relatively low number of neurons, each one projecting thousands of synapses - is distributed over a large number of hardware cores. When growing the number of neurons per core, the computation starts to be the dominating component for short range connections. This paper reports about preliminary performance results obtained on an ARM-based HPC prototype developed in the framework of the ExaNeSt project. Furthermore, a comparison is given of instantaneous power, total energy consumption, execution time and energetic cost per synaptic event of SWA/AW DPSNN simulations when executed on either ARM- or Intel-based server platforms.

研究动机与目标

• 评估基于ARM的HPC架构在大规模脑模拟中的能量效率。
• 在低功耗ARM平台与传统x86服务器系统之间，对比DPSNN模拟器的性能表现。
• 评估在不同网络与计算负载下，皮层慢波模拟的性能与能耗表现。
• 识别面向未来神经科学工作负载优化的互连架构需求。
• 验证基于ARM的平台作为计算神经科学中节能型科学计算的可行替代方案。

提出的方法

• 将DPSNN模拟器移植至基于ARM的平台，包括采用ARMv8架构的第二代NVIDIA Jetson TX1 SoC。
• 在ARM与x86平台均使用4个MPI进程，对包含10,000个LIFCA神经元和1800万突触的网络进行了模拟。
• 测量并对比了完成时间、瞬时功耗、总能耗以及每个突触事件的能量成本。
• 对网络流量进行了表征分析，以指导未来HPC系统中低延迟、高吞吐量互连的设计。
• 采用受控实验设置，在各平台上保持相同的神经网络配置，确保公平比较。
• 未扣除基础功耗，因此对系统级能耗的估算偏保守但更贴近实际。

实验结果

研究问题

• RQ1 在使用DPSNN模拟皮层慢波时，基于ARM的处理器与x86服务器相比，其能量效率如何？
• RQ2 在模拟大规模脉冲神经网络时，网络分布对性能与能耗有何影响？
• RQ3 不同的内存带宽与核心数量如何影响DPSNN模拟中的完成时间与单位能耗？
• RQ4 低功耗ARM平台能否在神经科学模拟工作负载中实现优异的单位功耗性能？
• RQ5 在分布式核心上运行DPSNN时，当前市售网络组件的主要瓶颈是什么？

主要发现

• 基于ARM的嵌入式平台完成3秒模拟耗能528 J，而x86服务器平台耗能2.3 kJ，ARM平台总能耗降低4.4倍。
• x86服务器平台耗时9.1秒完成模拟，而ARM平台耗时30秒，表明ARM平台的完成时间长3.3倍。
• ARM平台的瞬时功耗为17.6 W，x86服务器平台为253 W，实时功耗降低14.4倍。
• ARM平台每个突触事件的能量成本为2.2 μJ，x86平台为9.8 μJ，表明ARM平台的能量效率提升3倍。
• 尽管ARM平台原始计算速度慢5倍，但x86平台每单位工作量的能耗约为ARM的3倍，凸显ARM在能量效率方面的显著优势。
• 若排除基础功耗，x86平台的能量-完成比将进一步改善4倍，ARM平台改善2倍，进一步强化了ARM在低功耗场景下的优势。