[论文解读] Providing High and Controllable Performance in Multicore Systems Through Shared Resource Management

Lavanya Subramanian|arXiv (Cornell University)|Aug 12, 2015

Parallel Computing and Optimization Techniques参考文献 112被引用 9

一句话总结

本文提出了一种新颖方法，通过在共享资源（如内存和缓存）处管理干扰，实现多核系统中的高性能且可控的性能表现。该方法引入了黑名单内存调度器，以实现低复杂度、公平的内存访问控制；并提出了MISE和ASM模型，用于估算因内存和缓存干扰导致的应用程序性能下降，从而通过基于服务速率的度量实现性能保障。

ABSTRACT

Multiple applications executing concurrently on a multicore system interfere with each other at different shared resources such as main memory and shared caches. Such inter-application interference, if uncontrolled, results in high system performance degradation and unpredictable application slowdowns. While previous work has proposed application-aware memory scheduling as a solution to mitigate inter-application interference and improve system performance, previously proposed memory scheduling techniques incur high hardware complexity and unfairly slowdown some applications. Furthermore, previously proposed memory-interference mitigation techniques are not designed to precisely control application performance. This dissertation seeks to achieve high and controllable performance in multicore systems by mitigating and quantifying the impact of shared resource interference. First, towards mitigating memory interference and achieving high performance, we propose the Blacklisting memory scheduler that achieves high performance and fairness at low complexity. Next, towards quantifying the impact of memory interference and achieving controllable performance in the presence of memory bandwidth interference, we propose the Memory Interference induced Slowdown Estimation (MISE) model. We propose and demonstrate two use cases that can leverage MISE to provide soft performance guarantees and high overall performance/fairness. Finally, we seek to quantify the impact of shared cache interference on application slowdowns, in addition to memory bandwidth interference. Towards this end, we propose the Application Slowdown Model (ASM). We propose and demonstrate several use cases of ASM that leverage it to provide soft performance guarantees and improve performance and fairness.

研究动机与目标

• 解决由于在内存和缓存等共享资源处发生应用间干扰而导致的多核系统中性能不可预测下降的问题。
• 与以往使用应用总排序的、基于应用感知的内存调度器相比，降低硬件复杂度并提高公平性。
• 通过基于服务速率的估计模型量化内存和缓存干扰导致的性能下降，实现精确的性能控制。
• 将性能管理从内存带宽扩展至共享缓存干扰，提供统一的性能下降估计框架。
• 通过精确、低开销的干扰估计与资源分配，支持软性能保证和系统整体公平性的提升。

提出的方法

• 设计黑名单内存调度器，根据连续内存请求次数将应用分类为‘易受干扰’和‘造成干扰’两类，优先处理前者。
• 使用请求服务速率作为应用性能的代理指标，通过在执行期间隔离应用的内存访问模式来估计其无干扰时的服务速率。
• 开发MISE模型，通过无干扰与干扰状态下的请求服务速率之比来估算性能下降，实现在干扰条件下的性能预测。
• 通过简单修改将MISE模型扩展至非内存受限的应用，以适配其性能特征。
• 提出ASM模型，通过使用缓存访问速率作为性能代理，将性能下降估计推广至共享缓存干扰。
• 通过最小化内存干扰并量化缓存干扰，周期性估计每个应用的‘仅缓存访问速率’，实现准确的性能下降预测。

实验结果

研究问题

• RQ1 如何在保证应用间公平性的同时，以低硬件复杂度缓解共享内存干扰？
• RQ2 请求服务速率能否可靠地作为应用性能的代理指标，以估算内存干扰导致的性能下降？
• RQ3 如何以一种适用于所有应用类型的方式，估计并管理共享缓存干扰引起的性能下降？
• RQ4 哪些是性能下降估计模型的有效应用场景，可实现软性能保证和系统公平性的提升？
• RQ5 如何协调内存带宽、缓存和存储等多重共享资源的干扰，实现全面的性能管理？

主要发现

• 黑名单内存调度器在显著降低硬件复杂度的前提下，实现了与最先进应用感知调度器相当甚至更高的系统性能与公平性。
• MISE模型能准确估算应用程序性能下降，即无干扰与干扰状态下请求服务速率的比值，从而实现在内存干扰下的性能预测。
• ASM模型通过使用缓存访问速率作为性能代理，将性能下降估计推广至共享缓存干扰，适用于所有类型的应用程序，实现高精度预测。
• MISE与ASM模型均支持实际应用场景，如软性能保证和通过低开销、实时干扰估计实现的系统公平性提升。
• 研究表明，请求服务速率在内存和缓存资源上与性能呈线性相关，验证了估计模型的核心假设。
• 内存与缓存干扰管理的集成，为现代多核系统中硬件与软件协同的综合资源管理开辟了新机遇。