[论文解读] TIMELY: Pushing Data Movements and Interfaces in PIM Accelerators Towards Local and in Time Domain

Weitao Li, Pengfei Xu+4 more|arXiv (Cornell University)|May 3, 2020

Advanced Memory and Neural Computing参考文献 77被引用 8

一句话总结

TIMELY 提出了一种基于 ReRAM 的 PIM 加速器，通过利用模拟本地缓冲区（ALBs）提升数据局部性、采用时域接口（TDIs）降低 D/A 和 A/D 转换能耗，并引入仅读取一次输入（O2IR）映射方法以减少输入访问次数，从而显著提升能效。与 PRIME 相比，其计算密度最高提升 31.2×，吞吐量最高提升 736.6×，相较于最先进的 R2PIM 加速器，能效提升达 10×。

ABSTRACT

Resistive-random-access-memory (ReRAM) based processing-in-memory (R$^2$PIM) accelerators show promise in bridging the gap between Internet of Thing devices' constrained resources and Convolutional/Deep Neural Networks' (CNNs/DNNs') prohibitive energy cost. Specifically, R$^2$PIM accelerators enhance energy efficiency by eliminating the cost of weight movements and improving the computational density through ReRAM's high density. However, the energy efficiency is still limited by the dominant energy cost of input and partial sum (Psum) movements and the cost of digital-to-analog (D/A) and analog-to-digital (A/D) interfaces. In this work, we identify three energy-saving opportunities in R$^2$PIM accelerators: analog data locality, time-domain interfacing, and input access reduction, and propose an innovative R$^2$PIM accelerator called TIMELY, with three key contributions: (1) TIMELY adopts analog local buffers (ALBs) within ReRAM crossbars to greatly enhance the data locality, minimizing the energy overheads of both input and Psum movements; (2) TIMELY largely reduces the energy of each single D/A (and A/D) conversion and the total number of conversions by using time-domain interfaces (TDIs) and the employed ALBs, respectively; (3) we develop an only-once input read (O$^2$IR) mapping method to further decrease the energy of input accesses and the number of D/A conversions. The evaluation with more than 10 CNN/DNN models and various chip configurations shows that, TIMELY outperforms the baseline R$^2$PIM accelerator, PRIME, by one order of magnitude in energy efficiency while maintaining better computational density (up to 31.2$ imes$) and throughput (up to 736.6$ imes$). Furthermore, comprehensive studies are performed to evaluate the effectiveness of the proposed ALB, TDI, and O$^2$IR innovations in terms of energy savings and area reduction.

研究动机与目标

• 解决 ReRAM 基 PIM 加速器因输入和部分和（Psum）移动导致的能效低下问题。
• 突破现有 PIM 架构中模拟到数字（ADC）与数字到模拟（DAC）转换能耗过高的瓶颈。
• 在资源受限的物联网设备中，提升计算密度与吞吐量，同时保持低能耗。
• 设计一种整体性架构方案，推动 PIM 加速器中的数据移动与接口向本地化和时域优化演进。

提出的方法

• 在 ReRAM 交叉阵列中引入模拟本地缓冲区（ALBs），以模拟形式存储中间 Psum 和输入数据，减少频繁的数据移动。
• 采用时域接口（TDIs），通过时分复用信号方式降低每次 D/A 或 A/D 转换的能耗，从而减少活跃转换电路数量。
• 设计仅读取一次输入（O2IR）映射方法，重新组织权重与输入数据的访问模式，实现每个输入仅读取一次，从而减少总输入访问次数与 D/A 转换次数。
• 将 ALBs 与 O2IR 集成至 TDI 架构中，实现极低的片外数据移动与接口能耗的内存内计算。
• 将 TIMELY 架构设计为多子芯片系统，采用流水线数据流，以最大化吞吐量并最小化芯片间能耗开销。
• 采用混合内存层次结构，在触发器子阵列中引入子缓冲区（X-subBufs 与 P-subBufs），以实现数据局部化，减少高能耗的跨阵列传输。

实验结果

研究问题

• RQ1 如何利用 ReRAM 交叉阵列内的模拟数据局部性，以降低 PIM 加速器中输入与 Psum 移动带来的能耗？
• RQ2 时域接口在模拟 PIM 架构中，能在多大程度上降低单次 D/A 与 A/D 转换的能耗？
• RQ3 如 O2IR 这类新型输入访问映射策略，能否显著减少 R2PIM 加速器中 D/A 转换与输入访问的总次数？
• RQ4 ALB、TDI 与 O2IR 的联合使用，对真实世界 R2PIM 设计中的能效、计算密度与吞吐量产生何种综合影响？
• RQ5 所提出技术在不同 CNN/DNN 模型与芯片配置下，其能效节省与面积效率的可扩展性如何？

主要发现

• TIMELY 通过高密度 ReRAM 与 ALBs 的结合，相较基线 PRIME 加速器，计算密度最高提升 31.2×。
• 得益于优化的数据流与减少的内存访问开销，吞吐量相较 PRIME 最高提升 736.6×。
• 能效相较 PRIME 提升一个数量级（10×），相较 ISAAC 提升 18.2×，主要归因于输入与 Psum 移动能耗的显著降低。
• ALB 与 O2IR 的结合使基于 PRIME 的配置中，组内数据移动能耗降低 68%，在架构层面展现出显著的能效优势。
• TDIs 通过支持时分复用信号，降低每次 D/A 转换的能耗，尽管转换率较高，仍显著减少了总接口能耗。
• 通过子芯片配置实现的面积扩展对能耗影响极小，对吞吐量仅产生轻微影响，证实了 TIMELY 架构的可扩展性与鲁棒性。