[论文解读] Protecting Memory-Performance Critical Sections in Soft Real-Time Applications

Heechul Yun, Santosh Gondi+1 more|arXiv (Cornell University)|Feb 8, 2015

Real-Time Systems Scheduling参考文献 25被引用 4

一句话总结

BWLOCK 是一种用户级 API 和内核级内存带宽控制机制，通过在高带宽阶段动态限制非实时核心的内存流量，保护软实时应用中的内存性能关键段。它在对非实时工作负载的吞吐量影响最小的情况下，实现了近乎完美的实时性能隔离，如在 Mplayer 和 WebRTC 工作负载中所示，粗粒度模式下吞吐量减少 17%，细粒度模式下减少 7%。

ABSTRACT

Soft real-time applications such as multimedia applications often show bursty memory access patterns---regularly requiring a high memory bandwidth for a short duration of time. Such a period is often critical for timely data processing. Hence, we call it a memory-performance critical section. Unfortunately, in multicore architecture, non-real-time applications on different cores may also demand high memory bandwidth at the same time, which can substantially increase the time spent on the memory performance critical sections. In this paper, we present BWLOCK, user-level APIs and a memory bandwidth control mechanism that can protect such memory performance critical sections of soft real-time applications. BWLOCK provides simple lock like APIs to declare memory-performance critical sections. If an application enters a memory-performance critical section, the memory bandwidth control system then dynamically limit other cores' memory access rates to protect memory performance of the application until the critical section finishes. From case studies with real-world soft real-time applications, we found (1) such memory-performance critical sections do exist and are often easy to identify; and (2) applying BWLOCK for memory critical sections significantly improve performance of the soft real-time applications at a small or no cost in throughput of non real-time applications.

研究动机与目标

• 解决多核系统中非实时工作负载导致的内存带宽竞争，从而引起软实时应用性能下降的问题。
• 识别并隔离内存性能关键段——即多媒体和实时系统中常见的突发性高内存带宽需求阶段。
• 设计一种轻量级的用户级 API 和内核级控制机制，保护实时性能，且不依赖于静态带宽预留。
• 评估 BWLOCK 在并发工作负载下对真实世界软实时应用的实际可行性和有效性。
• 证明选择性、动态的带宽调节比静态预留更高效地利用可用内存带宽。

提出的方法

• BWLOCK 引入一种类似锁的 API，用于在应用代码中声明内存性能关键段，从而实现实时识别高内存需求阶段。
• 当某个核心进入关键段时，BWLOCK 触发带宽控制机制，限制其他核心的内存访问速率，以防止干扰。
• 系统采用基于软件的周期性监控与调节机制，在关键段执行期间对非关键核心施加带宽限制。
• BWLOCK 支持细粒度和粗粒度两种模式：细粒度针对特定代码区域，而粗粒度将整个应用运行视为关键段。
• 该机制在内核级别运行，利用现有的性能监控和资源控制接口，动态调节内存流量。
• BWLOCK 的设计与现有缓存和内存分区技术（如页着色）正交，可通过硬件支持进一步降低开销。

实验结果

研究问题

• RQ1 能否使用性能分析技术可靠地识别真实世界软实时应用中的内存性能关键段？
• RQ2 在关键段期间动态限制非实时内存流量是否能显著提升实时应用性能？
• RQ3 与静态带宽预留相比，BWLOCK 的动态调节在内存带宽利用率和性能隔离方面表现如何？
• RQ4 在保护实时工作负载时，BWLOCK 对非实时应用的性能开销有多大？
• RQ5 BWLOCK 是否能有效应用于多样化的现实世界软实时系统，如多媒体播放器和 WebRTC 框架？

主要发现

• 真实世界软实时应用（如 Mplayer 和 WebRTC）中存在内存性能关键段，且可通过 perf 等性能分析工具识别。
• 在粗粒度模式下，BWLOCK 实现了对 Mplayer 的近乎完美实时性能隔离，非实时工作负载吞吐量仅减少 17%。
• 在细粒度模式下，BWLOCK 将 Mplayer 的实时性能提升 17%，同时仅使非实时吞吐量减少 7%。
• 在 WebRTC 框架中也观察到了类似的性能提升，证实了 BWLOCK 在不同类型实时工作负载中的有效性。
• BWLOCK 的动态、选择性带宽控制比静态预留更高效，因为它避免了非关键阶段的内存带宽闲置。
• 该方法在生产环境中具有实际可行性和可部署性，软件复杂度极低，运行时开销小。