[论文解读] When to use 3D Die-Stacked Memory for Bandwidth-Constrained Big Data Workloads

Jason Lowe-Power, Mark D. Hill+1 more|arXiv (Cornell University)|Aug 26, 2016

Parallel Computing and Optimization Techniques参考文献 17被引用 6

一句话总结

本文评估了3D芯片堆叠内存作为带宽受限的内存内大数据工作负载的解决方案，通过成本-性能模型比较传统、大内存和芯片堆叠架构。研究发现，芯片堆叠可将响应时间降低至256倍，且在10毫秒服务等级协议（SLA）下可消除内存超配的需求，但代价是功耗提高50倍、容量降低，因此仅在严格SLA和高带宽工作负载下最具成本效益。

ABSTRACT

Response time requirements for big data processing systems are shrinking. To meet this strict response time requirement, many big data systems store all or most of their data in main memory to reduce the access latency. Main memory capacities have grown, and systems with 2 TB of main memory capacity available today. However, the rate at which processors can access this data--the memory bandwidth--has not grown at the same rate. In fact, some of these big-memory systems can access less than 10% of their main memory capacity in one second (billions of processor cycles). 3D die-stacking is one promising solution to this bandwidth problem, and industry is investing significantly in 3D die-stacking. We use a simple back-of-the-envelope-style model to characterize if and when the 3D die-stacked architecture is more cost-effective than current architectures for in-memory big data workloads. We find that die-stacking has much higher performance than current systems (up to 256x lower response times), and it does not require expensive memory over provisioning to meet real-time (10 ms) response time service-level agreements. However, the power requirements of the die-stacked systems are significantly higher (up to 50x) than current systems, and its memory capacity is lower in many cases. Even in this limited case study, we find 3D die-stacking is not a panacea. Today, die-stacking is the most cost-effective solution for strict SLAs and by reducing the power of the compute chip and increasing memory densities die-stacking can be cost-effective under other constraints in the future.

研究动机与目标

• 评估3D芯片堆叠内存是否是当前服务器架构在带宽受限的内存内大数据工作负载中的成本效益替代方案。
• 分析三种系统架构（传统、大内存、芯片堆叠）在内存带宽、容量、功耗和成本之间的权衡。
• 确定在何种工作负载和系统约束条件下，芯片堆叠内存相比现有解决方案具有更优的成本-性能表现。
• 识别在高功耗和有限容量的条件下，芯片堆叠技术何时具备可行性。

提出的方法

• 开发了一种简化的成本-性能模型，用于比较三种架构：传统（通用DRAM）、大内存（高容量缓冲DRAM）和3D芯片堆叠（通过TSV堆叠的DRAM）。
• 利用制造商数据和真实硬件测量结果，估算不同系统配置下的内存带宽、功耗和内存容量。
• 在不同服务等级协议（SLA）约束（如10毫秒、1秒）和数据大小下评估系统性能。
• 将成本效益建模为带宽-容量比、功耗和内存密度的函数，并对关键参数进行敏感性分析。
• 发布了一个交互式在线模型，允许用户调整输入参数并重新计算不同配置下的结果。
• 假设处理器间无通信，仅聚焦于内存带宽受限的工作负载，特别是计算强度低的分析型数据库查询。

实验结果

研究问题

• RQ1 在何种工作负载条件下，3D芯片堆叠内存相较于传统或大内存服务器架构在内存内大数据工作负载中更具成本效益？
• RQ2 与现有架构相比，芯片堆叠对响应时间、功耗和内存容量有何影响？
• RQ3 与内存超配的传统系统相比，严格SLA（如10毫秒）对芯片堆叠内存的成本效益有何影响？
• RQ4 计算能力效率和内存密度的变化如何影响未来架构中芯片堆叠系统的可行性？
• RQ5 通信开销和计算强度在多大程度上影响芯片堆叠系统中的性能与成本权衡？

主要发现

• 3D芯片堆叠内存相比现有系统，响应时间最高可降低256倍，显著提升带宽受限工作负载的性能。
• 芯片堆叠架构可消除为满足10毫秒SLA而进行内存超配的需求，而这一需求在传统和大内存系统中是必需的。
• 芯片堆叠系统的功耗最高可达传统系统的50倍，使功耗成为关键的成本限制因素。
• 尽管带宽极高，芯片堆叠系统的内存容量仍较低；需超过2000个堆叠才能匹配八个大内存系统所具备的16 TB容量。
• 芯片堆叠仅在严格10毫秒SLA和访问数据集大比例的工作负载下最具成本效益。
• 未来计算能力效率或内存密度的提升，可能使芯片堆叠技术适用于更广泛的工作负载和约束条件。