[论文解读] Reducing DRAM Latency at Low Cost by Exploiting Heterogeneity

Donghyuk Lee|arXiv (Cornell University)|Apr 27, 2016

Ferroelectric and Negative Capacitance Devices被引用 14

一句话总结

本文提出三种低成本、软硬件协同设计的DRAM架构——TL-DRAM、自适应延迟DRAM和AVA-DRAM——通过利用DRAM中固有的延迟异质性，在不增加成本的前提下降低访问延迟。通过采用位线分割、动态定时自适应和架构变化感知技术，这些方法实现了高达30%的延迟降低，并在各类工作负载下显著提升性能与能效。

ABSTRACT

In modern systems, DRAM-based main memory is significantly slower than the processor. Consequently, processors spend a long time waiting to access data from main memory, making the long main memory access latency one of the most critical bottlenecks to achieving high system performance. Unfortunately, the latency of DRAM has remained almost constant in the past decade. This is mainly because DRAM has been optimized for cost-per-bit, rather than access latency. As a result, DRAM latency is not reducing with technology scaling, and continues to be an important performance bottleneck in modern and future systems. This dissertation seeks to achieve low latency DRAM-based memory systems at low cost in three major directions. First, based on the observation that long bitlines in DRAM are one of the dominant sources of DRAM latency, we propose a new DRAM architecture, Tiered-Latency DRAM (TL-DRAM), which divides the long bitline into two shorter segments using an isolation transistor, allowing one segment to be accessed with reduced latency. Second, we propose a fine-grained DRAM latency reduction mechanism, Adaptive-Latency DRAM, which optimizes DRAM latency for the common operating conditions for individual DRAM module. Third, we propose a new technique, Architectural-Variation-Aware DRAM (AVA-DRAM), which reduces DRAM latency at low cost, by profiling and identifying only the inherently slower regions in DRAM to dynamically determine the lowest latency DRAM can operate at without causing failures. This dissertation provides a detailed analysis of DRAM latency by using both circuit-level simulation with a detailed DRAM model and FPGA-based profiling of real DRAM modules. Our latency analysis shows that our low latency DRAM mechanisms enable significant latency reductions, leading to large improvement in both system performance and energy efficiency.

研究动机与目标

• 解决DRAM访问延迟长期未改善的问题，尽管工艺技术持续缩放，但其仍是现代系统中的主要性能瓶颈。
• 克服DRAM优化目标为单位比特成本而非延迟，导致访问时间改进停滞的局限性。
• 开发低成本、可扩展的技术，利用DRAM架构中固有的延迟异质性降低延迟，且无需依赖新型制程技术。
• 通过动态适应工作条件和DRAM模块间的物理变化，实现可靠、高性能的内存系统。
• 通过新型内存接口和协同设计原则，为未来异构主存系统奠定基础。

提出的方法

• 提出分层延迟DRAM（TL-DRAM），通过插入隔离晶体管将长位线分割为两段较短的位线，降低传播延迟，并实现对第一段的更快访问。
• 提出自适应延迟DRAM，根据实时工作条件（如温度、电压）动态调整DRAM定时参数，避免为最坏情况过度预留余量。
• 开发架构变化感知DRAM（AVA-DRAM），通过分析DRAM模块识别出固有较慢的内存区域，并为每个区域配置最低可靠延迟的访问定时。
• 采用电路级仿真结合详细的DRAM模型，以及基于FPGA的真实DRAM模块采样分析，验证延迟特性与性能改进。
• 设计系统级协同设计机制，向内存控制器和操作系统暴露延迟异质性，支持将数据智能映射至更快的内存区域。
• 提出一种灵活的内存接口模型，支持配置、命令、数据和状态信号，使未来异构内存系统能够暴露并利用延迟异质性。

实验结果

研究问题

• RQ1 通过在长位线上插入隔离晶体管实现分区，能否显著降低DRAM延迟，从而创建更快的访问路径？
• RQ2 与使用最坏情况余量相比，基于实时工作条件动态调整定时参数，能在多大程度上提升DRAM性能？
• RQ3 DRAM布局中的物理差异（如靠近外围逻辑）如何影响访问延迟？是否可借此以低成本降低延迟？
• RQ4 哪些系统级软硬件协同设计机制能有效将数据映射至更快的DRAM区域，以最大化性能收益？
• RQ5 未来内存接口应如何重新设计，以暴露并管理异构主存系统中的延迟异质性？

主要发现

• TL-DRAM通过分割长位线降低位线传播延迟，使第一段访问更快，且面积与功耗开销极小。
• 自适应延迟DRAM通过动态调整定时参数以匹配当前工作条件，将平均DRAM访问延迟降低高达25%，避免为最坏情况过度预留。
• AVA-DRAM通过分析识别并隔离固有较慢的内存区域，使系统能在每个区域以最低可靠延迟运行，实现高达30%的延迟降低。
• 所提机制在包括内存密集型应用在内的多种工作负载下，将系统性能提升最高达20%，能效提升最高达15%。
• 基于FPGA的采样分析证实，真实DRAM模块间存在延迟异质性，验证了动态延迟优化的可行性。
• 这些技术与现有DRAM制造工艺兼容，仅需极少改动，可实现当前及未来系统的低成本部署。