[论文解读] On Predictive Modeling for Optimizing Transaction Execution in Parallel OLTP Systems

Andrew Pavlo, Evan P. C. Jones+1 more|arXiv (Cornell University)|Oct 30, 2011

Distributed systems and fault tolerance参考文献 20被引用 5

一句话总结

该论文提出了一种基于马尔可夫模型的运行时预测框架 Houdini，用于在并行 OLTP 系统中自动选择性能优化策略，如高效的并发控制、推测执行和减少撤销日志。通过在执行前预测事务行为，Houdini 平均将系统吞吐量提升 41%，同时仅带来 5.8% 的运行时开销。

ABSTRACT

A new emerging class of parallel database management systems (DBMS) is designed to take advantage of the partitionable workloads of on-line transaction processing (OLTP) applications. Transactions in these systems are optimized to execute to completion on a single node in a shared-nothing cluster without needing to coordinate with other nodes or use expensive concurrency control measures. But some OLTP applications cannot be partitioned such that all of their transactions execute within a single-partition in this manner. These distributed transactions access data not stored within their local partitions and subsequently require more heavy-weight concurrency control protocols. Further difficulties arise when the transaction's execution properties, such as the number of partitions it may need to access or whether it will abort, are not known beforehand. The DBMS could mitigate these performance issues if it is provided with additional information about transactions. Thus, in this paper we present a Markov model-based approach for automatically selecting which optimizations a DBMS could use, namely (1) more efficient concurrency control schemes, (2) intelligent scheduling, (3) reduced undo logging, and (4) speculative execution. To evaluate our techniques, we implemented our models and integrated them into a parallel, main-memory OLTP DBMS to show that we can improve the performance of applications with diverse workloads.

研究动机与目标

• 解决由于访问多个分区并需要大量并发控制的分布式事务导致的并行 OLTP 系统性能下降问题。
• 通过实现运行时自动选择事务优化，减少对人工调优和用户提供的提示的依赖。
• 通过预测事务执行路径，实现上下文感知的优化（如减少日志记录和推测执行），从而提升系统吞吐量。
• 开发一种可扩展、低开销的预测框架，可无缝集成到现有内存主存 OLTP 系统（如 H-Store）中。

提出的方法

• 将存储过程驱动的事务表示为马尔可夫模型，以捕捉事务在当前状态下可能执行的查询序列的概率特征。
• 使用在线学习方法，基于生产工作负载中观察到的事务执行轨迹，持续更新马尔可夫模型。
• 将预测引擎集成到 H-Store DBMS 中，在事务执行开始前实时做出优化决策。
• 基于查询序列和过程参数对马尔可夫模型进行分区，以提升可扩展性和预测准确性。
• 根据预测的事务行为，动态选择优化策略，如禁用撤销日志记录或启用推测执行。
• 在类生产环境部署中，使用三个标准 OLTP 基准测试评估模型的准确性和性能影响。

实验结果

研究问题

• RQ1 在共享无依赖的并行数据库系统中，马尔可夫模型能否准确预测单个 OLTP 事务的执行路径？
• RQ2 运行时预测在为分布式事务启用性能优化（如减少撤销日志记录和推测执行）方面有多有效？
• RQ3 在高吞吐量 OLTP 环境中，维护和使用预测模型的性能开销有多大？
• RQ4 预测建模能否减少对人工调优的依赖，并在无需用户输入的情况下，提升多样化 OLTP 工作负载的吞吐量？
• RQ5 预测准确度如何影响优化策略的选择以及整体系统性能？

主要发现

• 所提出的基于马尔可夫模型的预测框架 Houdini，在三个 OLTP 基准测试中，对 93% 的事务能够准确预测其执行路径。
• 与不使用预测的朴素基线方法相比，Houdini 平均将系统吞吐量提升 41%。
• 该框架平均仅引入 5.8% 的运行时开销，表明预测的性能成本极低。
• 系统通过根据预测行为选择性地禁用撤销日志记录并启用推测执行，实现了显著的性能提升。
• 即使在工作负载偏斜和动态变化的情况下，该方法依然有效，因为 Houdini 能够在线适应观测到的执行模式。
• 该方法实现了无需用户注释或对事务行为先验知识的自动、透明的优化选择。