[论文解读] Thermal-Aware Compilation of Spiking Neural Networks to Neuromorphic Hardware

Twisha Titirsha, Anup Das|arXiv (Cornell University)|Oct 9, 2020

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出了一种针对神经形态硬件上脉冲神经网络（SNNs）的热感知编译技术，通过建模由于寄生RC延迟引起的交叉条带热梯度，并采用爬山启发式算法最小化平均温度。与性能优化映射相比，该方法将平均交叉条带温度降低了11.4K，漏电流功耗降低了52%。

ABSTRACT

Hardware implementation of neuromorphic computing can significantly improve performance and energy efficiency of machine learning tasks implemented with spiking neural networks (SNNs), making these hardware platforms particularly suitable for embedded systems and other energy-constrained environments. We observe that the long bitlines and wordlines in a crossbar of the hardware create significant current variations when propagating spikes through its synaptic elements, which are typically designed with non-volatile memory (NVM). Such current variations create a thermal gradient within each crossbar of the hardware, depending on the machine learning workload and the mapping of neurons and synapses of the workload to these crossbars. \mr{This thermal gradient becomes significant at scaled technology nodes and it increases the leakage power in the hardware leading to an increase in the energy consumption.} We propose a novel technique to map neurons and synapses of SNN-based machine learning workloads to neuromorphic hardware. We make two novel contributions. First, we formulate a detailed thermal model for a crossbar in a neuromorphic hardware incorporating workload dependency, where the temperature of each NVM-based synaptic cell is computed considering the thermal contributions from its neighboring cells. Second, we incorporate this thermal model in the mapping of neurons and synapses of SNN-based workloads using a hill-climbing heuristic. The objective is to reduce the thermal gradient in crossbars. We evaluate our neuron and synapse mapping technique using 10 machine learning workloads for a state-of-the-art neuromorphic hardware. We demonstrate an average 11.4K reduction in the average temperature of each crossbar in the hardware, leading to a 52% reduction in the leakage power consumption (11% lower total energy consumption) compared to a performance-oriented SNN mapping technique.

研究动机与目标

• 解决由于长比特线和字线中电流变化引起的神经形态交叉条带中未被考虑的热梯度问题。
• 在考虑邻近单元空间热贡献的前提下，对基于NVM的突触单元温度进行建模。
• 在SNN映射过程中最小化平均交叉条带温度，以降低漏电流功耗和能量消耗。
• 开发一种可扩展的热模型，兼顾准确性和计算效率，用于编译启发式算法。

提出的方法

• 提出一种针对PCM基交叉条带的详细热模型，利用空间依赖性方程考虑相邻突触单元的热贡献。
• 将热模型集成到爬山启发式算法中，探索能最小化平均交叉条带温度的神经元与突触映射方案。
• 采用与工作负载相关的热模型，捕捉由于比特线和字线路径长度差异导致的电流变化。
• 通过高保真版图仿真（每次运行约30分钟）和单细胞模型对热模型进行验证，结果表明其精度优于先前模型。
• 将热模型集成到编译流水线中，通过可配置的迭代上限（MaxIter）控制权衡，指导映射决策。
• 采用贪心爬山方法优化映射，通过迭代逐步改善交叉条带上的温度指标。

实验结果

研究问题

• RQ1 比特线和字线路径中的电流变化如何影响神经形态交叉条带中的热梯度？
• RQ2 在热模型中忽略空间热耦合，会在多大程度上导致漏电流功耗估算不准确？
• RQ3 热感知映射策略是否能有效降低SNN工作负载在神经形态硬件上的平均交叉条带温度和漏电流功耗？
• RQ4 在爬山启发式算法中，迭代次数变化时，编译时间与温度降低之间的权衡如何？
• RQ5 所提出的热模型在精度上与高保真和简化热模型相比如何？

主要发现

• 与单细胞模型相比，所提出的热模型由于引入了空间热耦合，平均将峰值温度低估程度降低了1.6K。
• 空间热贡献模型与详细版图仿真相比，误差降低了8.2%（绝对误差降低0.3K），证明了其高精度。
• 当MaxIter = 100时，编译时间与解质量之间达到最佳权衡，进一步增加到1000时，温度改善微乎其微。
• 在10个SNN工作负载上，该技术将平均交叉条带温度降低了11.4K，漏电流功耗降低52%。
• 尽管无性能退化，与性能优化映射技术相比，总能量消耗降低了11%。
• 该方法有效缓解了为最长电流路径保守设计电压所导致的热梯度问题，否则将使频繁访问的单元漏电流增加。