[论文解读] The Bitlet Model: Defining a Litmus Test for the Bitwise Processing-in-Memory Paradigm

Kunal Korgaonkar, Ronny Ronen+2 more|arXiv (Cornell University)|Oct 22, 2019

Advanced Memory and Neural Computing参考文献 6被引用 4

一句话总结

Bitlet 模型是一种参数化分析框架，通过建模吞吐量、操作复杂度、数据对齐和能耗，评估存算一体（PIM）工作负载的性能与效率。该模型定义了一项基准测试，用以判断 PIM 是否优于传统 CPU 计算，结果表明 PIM 在操作复杂度（OC）较低且数据级并行度较高的场景下表现更优，尤其在功耗受限条件下优势显著。

ABSTRACT

This paper describes an analytical modeling tool called Bitlet that can be used, in a parameterized fashion, to understand the affinity of workloads to processing-in-memory (PIM) as opposed to traditional computing. The tool uncovers interesting trade-offs between operation complexity (cycles required to perform an operation through PIM) and other key parameters, such as system memory bandwidth, data transfer size, the extent of data alignment, and effective memory capacity involved in PIM computations. Despite its simplicity, the model has already proven useful. In the future, we intend to extend and refine Bitlet to further increase its utility.

研究动机与目标

• 为解决缺乏标准化分析工具以评估存算一体（PIM）工作负载性能与效率的问题。
• 定义一项基准测试，用以判断特定工作负载更适合采用 PIM 还是传统 CPU/GPU 架构。
• 量化 PIM 系统中操作复杂度、数据对齐、内存带宽与能效之间权衡关系。
• 提供一个参数化模型，支持对关键架构与技术参数下 PIM 性能的敏感性分析。

提出的方法

• 基于忆阻器存储阵列内的与非（NOR）操作，采用按行处理、位串行的模型来建模 PIM 吞吐量。
• 提出一个参数化吞吐量方程（公式 1），综合考虑操作复杂度（OC）、存储阵列数量（MAT）、行数（ROW）和周期时间（CT）。
• 将放置与对齐成本（PAC）作为性能惩罚因子，建模因数据错位而产生的水平与垂直数据移动开销。
• 基于内存带宽（BW）、数据并行度（DIO）和操作复杂度（OC）定义 CPU 吞吐量模型，实现与 PIM 的直接对比。
• 使用能效指标（E^PIM 和 E^CPU）比较 PIM 与 CPU 每项操作的能耗，尤其关注基础逻辑操作的对比。
• 引入功耗限制以约束激活的存储阵列数量（MATs），模拟真实系统层面的能效预算。

实验结果

研究问题

• RQ1 在何种条件下，PIM 在吞吐量与能效方面优于传统 CPU 架构？
• RQ2 操作复杂度（OC）、数据对齐（PAC）与内存带宽（BW）如何影响 PIM 与 CPU 之间的性能权衡？
• RQ3 PIM 效率低于 CPU 的交叉点出现在何处？该点如何随 MAT 与 DIO 等系统参数变化？
• RQ4 非零的放置与对齐成本（PAC）对 PIM 的有效吞吐量与能效产生何种影响？
• RQ5 能效在多大程度上有利于 PIM 处理低复杂度操作？随着 OC 增加，该优势如何减弱？

主要发现

• 对于操作复杂度（OC）较低的运算，如 16 位加法（OC = 144），PIM 显著优于 CPU，尤其在数据对齐最优（PAC = 0）时。
• 对于 16 位加法，当 PAC = 1040 时，PIM 吞吐量下降至 88 GOPS（仅为原始 728 GOPS 的 12%），表明对齐开销造成显著性能损失。
• 当数据输入/输出大小（DIO）从 24 位增至 48 位时，CPU 超过 PIM 的交叉点从 OC ≈ 2500 移至 OC ≈ 5000，表明其对数据大小高度敏感。
• 在 20W 功耗限制下，PIM 最多可支持 1950 个存储阵列（MATs），且在此之后吞吐量因能效限制而趋于饱和。
• 对于单比特 NOR 操作（OC = 1），PIM 每次操作仅消耗 0.1pJ，而 CPU 消耗 45pJ（3× E^CPU），PIM 的能效优势高达 450 倍。
• 当 OC 超过 7200 时，PIM 的能效优势逐渐减弱，CPU 反而更高效，表明 PIM 对高复杂度运算存在硬性适用边界。