[论文解读] Silentium! Run-Analyse-Eradicate the Noise out of the DB/OS Stack

Wolfgang Mauerer, Ralf Ramsauer+3 more|arXiv (Cornell University)|Jan 1, 2021

Advanced Data Storage Technologies被引用 3

一句话总结

本文提出了一种系统性方法，通过逐步消除数据库/操作系统堆栈中的干扰，消除多租户内存数据库中的性能噪声，实现与物理机性能相当的亚毫秒级延迟确定性，且不会降低其他租户工作负载的性能。关键结果表明，专家级操作系统配置可实现接近物理机的性能，从而在某些工作负载下减少了对定制操作系统的依赖。

ABSTRACT

When multiple tenants compete for resources, database performance tends to suffer. Yet there are several scenarios where guaranteed sub-millisecond latencies are crucial, such as in real-time scenarios, IoT, or when operating in safety-critical environments. In this paper, we study how to make query latencies deterministic in the face of noise (whether caused by other tenants or unrelated operating systems tasks). We perform controlled experiments with an in-memory database in a multi-tenant setting, where we successively eradicate noisy interference from within the system software stack, to the point where the engine runs close to bare-metal on the underlying hardware. We show that we can achieve query latencies comparable to the database engine running as the sole tenant, but without noticeably impacting the workload of competing tenants. We discuss these results in the context of ongoing efforts to build custom operating systems for database workloads, and point out that for certain use cases, the margin for improvement is rather narrow. In fact, for scenarios like ours, existing operating systems might just be good enough, provided that they are expertly configured. We then critically discuss these findings in the light of a broader family of database systems (e.g., including disk-based), and the technological disruption of the advances in modern hardware.

研究动机与目标

• 解决多租户内存数据库中因资源争用和系统噪声导致的性能波动问题。
• 研究现有操作系统是否可通过专家配置实现接近物理机的性能，从而减少对定制操作系统开发的需求。
• 评估竞争租户和操作系统任务对实时和关键任务工作负载中查询延迟的影响。
• 确定在现代硬件环境中通过堆栈级优化实现性能提升的实际极限。

提出的方法

• 在多租户环境中使用内存数据库进行受控实验，以隔离并测量性能干扰。
• 系统性地从操作系统和数据库堆栈中消除噪声源，从应用级调优开始，逐步推进到低层硬件和内核优化。
• 通过工作负载感知的配置方式，对操作系统组件（如CPU调度、内存管理、中断处理）进行调优，以减少抖动和延迟突增。
• 在每个优化步骤前后测量查询延迟，以量化消除每个噪声源的影响。
• 将最终性能与单租户物理机部署进行对比，评估多租户配置与最优性能的接近程度。
• 评估性能提升与对其他租户工作负载影响之间的权衡，以确保非侵入式运行。

实验结果

研究问题

• RQ1 通过系统性的堆栈级优化，多租户内存数据库中的性能噪声能在多大程度上被消除？
• RQ2 当专家配置用于确定性数据库工作负载时，标准操作系统能多接近物理机性能？
• RQ3 在从数据库/操作系统堆栈中消除噪声后，对竞争租户的性能影响如何？
• RQ4 在何种场景下仍需为数据库构建定制操作系统，或现有操作系统的专家配置已足够？

主要发现

• 通过系统性地消除数据库/操作系统堆栈中的噪声，作者实现的查询延迟与在物理机上作为唯一租户运行的数据库相当。
• 性能提升显著——延迟抖动大幅降低——且对竞争租户的性能影响微乎其微。
• 结果表明，对于实时和关键任务工作负载，若经过专家调优，现有操作系统已足够，从而减少了对定制操作系统开发的需求。
• 经过良好配置的标准操作系统与物理机部署之间的性能差距很小，表明在此类场景下进一步操作系统的专业化已边际收益递减。
• 本研究指出，硬件进步和现代操作系统的功能已缩小了为数据库定制操作系统所带来的性能优势，尤其对某些工作负载而言。