[论文解读] Simultaneous Multi Layer Access: A High Bandwidth and Low Cost 3D-Stacked Memory Interface

Donghyuk Lee, Gennady Pekhimenko+3 more|arXiv (Cornell University)|Jun 10, 2015

Parallel Computing and Optimization Techniques参考文献 29被引用 21

一句话总结

本文提出了一种低成本的3D堆叠DRAM接口——同步多层访问（SMLA），通过共享IO TSV同时访问多个内存层来提升带宽。通过级联IO的时间复用以及利用跨层空闲的全局位线，SMLA在仅增加极少面积开销的情况下，使带宽相比基线3D DRAM提升高达4倍，并在多任务工作负载中实现平均55%的性能增益。

ABSTRACT

Limited memory bandwidth is a critical bottleneck in modern systems. 3D-stacked DRAM enables higher bandwidth by leveraging wider Through-Silicon-Via (TSV) channels, but today's systems cannot fully exploit them due to the limited internal bandwidth of DRAM. DRAM reads a whole row simultaneously from the cell array to a row buffer, but can transfer only a fraction of the data from the row buffer to peripheral IO circuit, through a limited and expensive set of wires referred to as global bitlines. In presence of wider memory channels, the major bottleneck becomes the limited data transfer capacity through these global bitlines. Our goal in this work is to enable higher bandwidth in 3D-stacked DRAM without the increased cost of adding more global bitlines. We instead exploit otherwise-idle resources, such as global bitlines, already existing within the multiple DRAM layers by accessing the layers simultaneously. Our architecture, Simultaneous Multi Layer Access (SMLA), provides higher bandwidth by aggregating the internal bandwidth of multiple layers and transferring the available data at a higher IO frequency. To implement SMLA, simultaneous data transfer from multiple layers through the same IO TSVs requires coordination between layers to avoid channel conflict. We first study coordination by static partitioning, which we call Dedicated-IO, that assigns groups of TSVs to each layer. We then provide a simple, yet sophisticated mechanism, called Cascaded-IO, which enables simultaneous access to each layer by time-multiplexing the IOs. By operating at a frequency proportional to the number of layers, SMLA provides a higher bandwidth (4X for a four-layer stacked DRAM). Our evaluations show that SMLA provides significant performance improvement and energy reduction (55%/18% on average for multi-programmed workloads, respectively) over a baseline 3D-stacked DRAM with very low area overhead.

研究动机与目标

• 解决现代系统中持续存在的内存带宽瓶颈，特别是在3D堆叠DRAM架构中。
• 克服现有3D堆叠DRAM的局限性，即尽管TSV通道更宽，但受限于全局位线的内部带宽，导致其利用率低下。
• 开发一种成本效益高的解决方案，以在不增加昂贵的全局位线或感应放大器的情况下提升外部内存带宽。
• 通过协调多个DRAM层对共享IO TSV的同步访问，实现更高的IO频率。
• 在最小化面积和能耗开销的同时，最大化多层3D堆叠DRAM设计中的带宽利用率。

提出的方法

• 提出同步多层访问（SMLA）架构，支持多个DRAM层同时向共享IO TSV接口传输数据。
• 实现两种协调机制：专用IO（每层静态划分TSV）和级联IO（跨层时间复用IO访问）。
• 利用级联IO降低设计复杂度和能耗，使每层可按层数成比例地提高工作频率。
• 利用堆叠层间原本空闲的全局位线接口，聚合内部带宽，而无需增加新的感应放大器。
• 通过同步IO调度协调各层访问，避免通道冲突，确保可靠的数据传输。
• 设计简洁且统一的控制逻辑，使其可无缝集成到现有3D堆叠DRAM架构中，无需仅限底层的控制逻辑。

实验结果

研究问题

• RQ1 我们能否在不增加额外全局位线成本的前提下，实现3D堆叠DRAM中更高的外部内存带宽？
• RQ2 如何有效利用多个堆叠DRAM层之间原本空闲的全局位线接口，以提升内部带宽聚合？
• RQ3 何种层间协调机制可实现通过共享TSV的同步IO访问，同时避免通道冲突？
• RQ4 在多层DRAM系统中，时分复用IO访问（级联IO）相比静态划分（专用IO）是否能提供更好的能效与面积效率？
• RQ5 与传统3D堆叠DRAM相比，SMLA在真实多任务工作负载中能多大程度地提升性能与能效？

主要发现

• SMLA通过聚合多层内部带宽，使内存带宽相比基线3D堆叠DRAM最高提升4倍。
• 在16核多任务工作负载下，SMLA平均性能提升55%，能耗降低18%，优于传统3D DRAM。
• 级联IO机制通过优化数据通路和时钟方案，实现更高的IO频率，且面积开销极小，显著降低能耗影响。
• SMLA避免了增加额外全局位线和感应放大器的高昂成本，这些组件在55nm DDR3中可能占用高达5.18%的芯片总面积。
• 所提出的架构与现有3D堆叠DRAM设计兼容，仅需添加极简且统一的控制逻辑扩展。
• SMLA在能效和成本方面优于HBM和Wide-IO，同时在不增加内部硬件复杂度的前提下，实现了相当或更优的带宽性能。