[论文解读] Predictable Performance and Fairness Through Accurate Slowdown Estimation in Shared Main Memory Systems

Lavanya Subramanian, Vivek Seshadri+3 more|arXiv (Cornell University)|May 15, 2018

Parallel Computing and Optimization Techniques参考文献 52被引用 3

一句话总结

本文提出 MISE，一种轻量级模型，通过将请求服务速率作为性能的代理指标，精确估算共享主内存系统中应用程序的性能下降。通过定期为每个应用程序分配最高优先级以估算其‘独立运行’时的性能，MISE 实现了可预测的服务质量与公平性，通过改进内存调度，在性能下降估计准确性和系统公平性方面优于以往技术。

ABSTRACT

This paper summarizes the ideas and key concepts in MISE (Memory Interference-induced Slowdown Estimation), which was published in HPCA 2013 [97], and examines the work's significance and future potential. Applications running concurrently on a multicore system interfere with each other at the main memory. This interference can slow down different applications differently. Accurately estimating the slowdown of each application in such a system can enable mechanisms that can enforce quality-of-service. While much prior work has focused on mitigating the performance degradation due to inter-application interference, there is little work on accurately estimating slowdown of individual applications in a multi-programmed environment. Our goal is to accurately estimate application slowdowns, towards providing predictable performance. To this end, we first build a simple Memory Interference-induced Slowdown Estimation (MISE) model, which accurately estimates slowdowns caused by memory interference. We then leverage our MISE model to develop two new memory scheduling schemes: 1) one that provides soft quality-of-service guarantees, and 2) another that explicitly attempts to minimize maximum slowdown (i.e., unfairness) in the system. Evaluations show that our techniques perform significantly better than state-of-the-art memory scheduling approaches to address the same problems. Our proposed model and techniques have enabled significant research in the development of accurate performance models [35, 59, 98, 110] and interference management mechanisms [66, 99, 100, 108, 119, 120].

研究动机与目标

• 解决多核系统中因并发应用程序间内存干扰导致的性能不可预测下降问题。
• 克服在多任务环境中对单个应用程序在线性能下降估计不准确的问题。
• 通过在共享内存竞争下准确估算应用程序性能下降，实现可预测的性能与公平性。
• 开发实用的内存调度机制，利用准确的性能下降估计实现服务质量与公平性保障。
• 提供一种简单、硬件高效的模型，可仅通过最小改动集成到现有内存控制器中。

提出的方法

• 将应用程序性能下降建模为估计的‘独立’请求服务速率与实际的‘共享’请求服务速率之比。
• 利用内存控制器实时跟踪每个应用程序的共享请求服务速率（SRSR）。
• 通过定期将每个应用程序提升至最高优先级，以最小化测量期间的干扰，从而估算其独立请求服务速率（ARSR）。
• 基于 MISE 模型设计两种内存调度方案：一种用于软性服务质量保障，另一种用于最小化最大性能下降（即不公平性）。
• 在真实硬件上使用 SPEC CPU2006 基准测试与微基准测试验证性能估计的准确性。
• 采用内存带宽分区方案，一次仅优先处理一个应用程序，相比基于排名的方案简化了调度器逻辑。

实验结果

研究问题

• RQ1 在具有并发工作负载的共享主内存系统中，应用程序性能下降的估计精度如何？
• RQ2 在内存受限的工作负载中，请求服务速率能否作为应用程序性能的可靠代理？
• RQ3 与存在干扰时的估计方法相比，通过短暂优先处理应用程序是否能显著提高其独立性能估计的准确性？
• RQ4 准确的性能下降估计是否能有效支持内存调度，以实现服务质量与公平性保障？
• RQ5 MISE 模型在 DRAM 之外的其他内存技术中可扩展到何种程度？

主要发现

• 内存受限应用程序的性能与其内存请求被服务的速率成正比，验证了请求服务速率作为性能代理的合理性。
• 通过短暂优先处理来估算独立性能，相比在存在干扰时进行估计的方法，能显著提高性能下降估计的准确性。
• 基于 MISE 的内存调度方案在降低最大性能下降和提升公平性方面优于当前最先进的方法。
• MISE 模型仅需在内存控制器中增加简单的优先级逻辑，即可实现高精度，硬件改动极小。
• MISE 模型无需复杂比较器逻辑即可实现有效的服务质量与公平性机制，因此比基于排名的调度方案更具可部署性。
• MISE 的基本原理可推广至其他共享资源（如缓存、I/O 和网络），并适用于新兴内存技术（如相变存储器和 STT-MRAM）。