[论文解读] PIMBALL: Binary Neural Networks in Spintronic Memory

Salonik Resch, S. Karen Khatamifard+6 more|arXiv (Cornell University)|Dec 10, 2018

Advanced Memory and Neural Computing参考文献 48被引用 4

一句话总结

PIMBALL 提出了一种自旋电子学、内存内计算的架构，利用自旋转移矩磁阻随机存取存储器（STT-MRAM）阵列加速二值神经网络（BNNs），在内存阵列内完全执行所有 BNN 操作——包括 XNOR、pop-count 和阈值化——无需外部数字逻辑。该架构在能效方面显著优于基于 CPU、GPU 和 FPGA 的实现，同时通过大规模阵列级并行处理实现了高吞吐量。

ABSTRACT

Neural networks span a wide range of applications of industrial and commercial significance. Binary neural networks (BNN) are particularly effective in trading accuracy for performance, energy efficiency or hardware/software complexity. Here, we introduce a spintronic, re-configurable in-memory BNN accelerator, PIMBALL: Processing In Memory BNN AcceL(L)erator, which allows for massively parallel and energy efficient computation. PIMBALL is capable of being used as a standard spintronic memory (STT-MRAM) array and a computational substrate simultaneously. We evaluate PIMBALL using multiple image classifiers and a genomics kernel. Our simulation results show that PIMBALL is more energy efficient than alternative CPU, GPU, and FPGA based implementations while delivering higher throughput.

研究动机与目标

• 通过在自旋电子学内存中采用内存内计算，解决传统神经网络加速器的能效与性能瓶颈。
• 克服传统加速器因片上存储空间有限而频繁访问片外内存的局限性，以应对 BNN 参数的存储需求。
• 设计一种可重构、可扩展且能效高效的 PIM 基础架构，专为 BNN 优化，基于原生支持按位运算与累加操作的 STT-MRAM。
• 通过在内存阵列内直接执行所有 BNN 计算，彻底消除对外部数字或模拟逻辑电路的需求。
• 证明基于 PIM 的架构可在大规模 BNN 推理中实现卓越的能效与具有竞争力的吞吐量。

提出的方法

• 采用改进的 STT-MRAM 阵列架构——PIMBALL——其中每个存储单元通过自旋电子逻辑操作（如 XNOR 和 pop-count）支持内存内计算。
• 采用可重构的内存阵列设计，使任意行可动态分配至任意计算任务，从而实现算法灵活性。
• 利用自旋电子学物理特性和阵列级并行性，在内存阵列内直接执行所有核心 BNN 操作（XNOR、pop-count、批量归一化、阈值化）。
• 利用 STT-MRAM 的固有非易失性和位串行特性，实现在单一基板上低功耗、持久的存储与计算。
• 通过流水线处理和阵列级并行性，在单个周期时间可能慢于 FPGA 加速器的情况下，仍实现高吞吐量。
• 通过将所有计算逻辑嵌入内存阵列结构中，避免使用外部感应放大器或辅助处理单元，实现完整的内存内处理。

实验结果

研究问题

• RQ1 是否可将自旋电子学内存阵列重构为在无需外部数字逻辑的情况下执行二值神经网络（如 XNOR、pop-count、阈值化）的所有关键操作？
• RQ2 基于 PIM 的 BNN 加速器在能效方面与传统的 CPU、GPU 和 FPGA 实现相比如何？
• RQ3 PIMBALL 中的阵列级并行性在在多大程度上可补偿单个操作周期可能较慢的问题，以实现高吞吐量？
• RQ4 所提出的 PIMBALL 架构是否能在实现极端能效的同时保持高精度用于 BNN 推理？
• RQ5 该 PIMBALL 架构是否可扩展至更大规模的网络（如 CIFAR-10 和 ImageNet 中使用的网络），而不会牺牲性能或能效？

主要发现

• PIMBALL 的能效显著优于基于 CPU、GPU 和 FPGA 的 BNN 加速器，功耗仅为 FPGA 对应方案的几分之一。
• 通过大规模阵列级并行处理与流水线技术，PIMBALL 在吞吐量方面可超越基于 FPGA 的实现，同时保持更优的能效。
• 所有核心 BNN 操作——包括 XNOR、pop-count、批量归一化和阈值化——均在内存阵列内完全执行，无需依赖外部数字或模拟电路。
• PIMBALL 架构完全可重构：阵列中的任意行可基于算法需求动态分配至不同计算任务。
• 该设计具备可扩展性，适用于更大规模网络（如 CIFAR-10 和 SVHN），仿真结果证实其具备高性能与低功耗特性。
• 当未用于计算时，该架构与标准 STT-MRAM 功能保持兼容，支持作为存储器与加速器的双重用途。