[论文解读] Read-Tuned STT-RAM and eDRAM Cache Hierarchies for Throughput and Energy Enhancement

Navid Khoshavi, Xunchao Chen+2 more|arXiv (Cornell University)|Jul 27, 2016

Parallel Computing and Optimization Techniques参考文献 25被引用 15

一句话总结

本文提出了一种混合STT-RAM与eDRAM缓存层级结构，用以替代传统的基于SRAM的L2缓存。该结构采用两种STT-RAM配置：用于常规请求的保留时间松弛型（LRSC）和用于频繁访问、读取重用块的高保留型（HRSC）。通过利用STT-RAM的非易失性与可调保留时间特性，该技术在PARSEC基准测试集上平均将L2读取未命中率降低51.4%，并提升IPC 11.7%，同时相比基于SRAM的设计显著降低了能耗。

ABSTRACT

As capacity and complexity of on-chip cache memory hierarchy increases, the service cost to the critical loads from Last Level Cache (LLC), which are frequently repeated, has become a major concern. The processor may stall for a considerable interval while waiting to access the data stored in the cache blocks in LLC, if there are no independent instructions to execute. To provide accelerated service to the critical loads requests from LLC, this work concentrates on leveraging the additional capacity offered by replacing SRAM-based L2 with Spin-Transfer Torque Random Access Memory (STT-RAM) to accommodate frequently accessed cache blocks in exclusive read mode in favor of reducing the overall read service time. Our proposed technique partitions L2 cache into two STT-RAM arrangements with different write performance and data retention time. The retention-relaxed STT-RAM arrays are utilized to effectively deal with the regular L2 cache requests while the high retention STT-RAM arrays in L2 are selected for maintaining repeatedly read accessed cache blocks from LLC by incurring negligible energy consumption for data retention. Our experimental results show that the proposed technique can reduce the mean L2 read miss ratio by 51.4% and increase the IPC by 11.7% on average across PARSEC benchmark suite while significantly decreasing the total L2 energy consumption compared to conventional SRAM-based L2 design.

研究动机与目标

• 为应对因工作集扩大而导致的频繁Last Level Cache（LLC）访问所引发的性能与能耗增长问题。
• 通过利用STT-RAM的非易失性与面积效率，降低L2读取服务时间与未命中率。
• 通过在高吞吐请求中使用保留时间松弛型STT-RAM、在读取重用数据中使用高保留型STT-RAM，最小化L2缓存的能耗。
• 优化基于STT-RAM的L2缓存中写入性能与数据保留时间之间的权衡。
• 实现一种高性能、低能耗的L2缓存设计，同时保持与现有处理器流水线的向后兼容性。

提出的方法

• 将L2缓存划分为两个STT-RAM阵列：用于常规请求的低保留型STT-RAM缓存（LRSC）和用于频繁访问、读取重用块的高保留型STT-RAM缓存（HRSC）。
• 实现一种原位监控机制，用于检测并自主将大量读取重用访问（IRRA）块从LLC迁移至HRSC。
• 在LRSC中采用保留时间松弛技术，以提升写入性能并降低写入延迟，使其接近SRAM水平。
• 应用刷新机制以在LRSC中维持数据完整性，且保留时间于设计阶段进行调优。
• 采用一种迁移策略，用于追踪访问模式，并根据重用行为在LRSC与HRSC之间移动数据。
• 评估多种LRSC与HRSC配置，以识别性能与能效之间的最优权衡。

实验结果

研究问题

• RQ1 PARSEC 2.1基准测试套件中，读取重用缓存块的分布如何影响L2缓存的性能与能效？
• RQ2 混合STT-RAM L2缓存设计能否在不增加面积或能耗开销的前提下，降低读取未命中率并改善关键工作负载的读取服务时间？
• RQ3 保留时间松弛型与高保留型STT-RAM阵列的最优配置是什么，以在L2缓存中平衡写入性能与数据保留时间？
• RQ4 原位监控与IRRA块向HRSC的自主迁移在降低L2读取未命中率方面的有效性如何？
• RQ5 与基于SRAM的L2缓存相比，基于STT-RAM的L2缓存能在多大程度上降低整体能耗，同时保持或提升性能？

主要发现

• 所提出的读取参考活动持久化（RRAP）技术在PARSEC基准测试套件上平均将L2读取未命中率降低51.4%。
• 该技术使每周期指令数（IPC）平均提升11.7%，表明性能有显著提升。
• 与传统基于SRAM的L2设计相比，总L2能耗显著降低，主要得益于STT-RAM的近零待机功耗与非易失性。
• 在LRSC中使用保留时间松弛型STT-RAM可实现接近SRAM的写入性能，最大限度减少对常规缓存请求的性能影响。
• HRSC设计能有效维持频繁访问、读取重用的数据块，且能耗几乎可忽略不计，得益于其非易失性。
• 实验评估证实，混合STT-RAM与eDRAM缓存层级结构在与基于SRAM的L2缓存相当的面积内，实现了高性能与高能效。