[论文解读] Scheduling OLTP Transactions via Machine Learning

Yangjun Sheng, Anthony Tomasic+2 more|arXiv (Cornell University)|Mar 7, 2019

Distributed systems and fault tolerance参考文献 34被引用 9

一句话总结

本文提出一种基于机器学习的主内存OLTP数据库事务调度方法，通过预测事务间的冲突概率来降低中止率并提高吞吐量。利用监督学习与无监督学习将冲突事务分组至专用队列并实现工作负载均衡，该方法在20核系统上相比随机调度实现了最高54%的吞吐量提升和80%的中止率降低。

ABSTRACT

Current main memory database system architectures are still challenged by high contention workloads and this challenge will continue to grow as the number of cores in processors continues to increase. These systems schedule transactions randomly across cores to maximize concurrency and to produce a uniform load across cores. Scheduling never considers potential conflicts. Performance could be improved if scheduling balanced between concurrency to maximize throughput and scheduling transactions linearly to avoid conflicts. In this paper, we present the design of several intelligent transaction scheduling algorithms that consider both potential transaction conflicts and concurrency. To incorporate reasoning about transaction conflicts, we develop a supervised machine learning model that estimates the probability of conflict. This model is incorporated into several scheduling algorithms. In addition, we integrate an unsupervised machine learning algorithm into an intelligent scheduling algorithm. We then empirically measure the performance impact of different scheduling algorithms on OLTP and social networking workloads. Our results show that, with appropriate settings, intelligent scheduling can increase throughput by 54% and reduce abort rate by 80% on a 20-core machine, relative to random scheduling. In summary, the paper provides preliminary evidence that intelligent scheduling significantly improves DBMS performance.

研究动机与目标

• 解决主内存OLTP系统在核心数量不断增加时因竞争导致的高中止率问题。
• 通过智能平衡并发与冲突避免，超越随机调度，提升数据库吞吐量。
• 设计一种轻量级、与DBMS无关的调度框架，将机器学习与最小工程开销相结合。
• 将有效调度机制从可分区工作负载推广至不可分区、复杂的OLTP工作负载。
• 通过实证验证，基于冲突感知的机器学习调度在真实工作负载中显著优于随机调度。

提出的方法

• 训练一个监督学习模型，利用静态和动态特征（如数据访问模式和对象粒度）预测事务对之间的冲突概率。
• 利用冲突预测模型将高冲突概率的事务分组至同一先进先出（FIFO）队列，以减少中止。
• 实现一种基于向量的调度算法，通过维护每个队列历史事务的中心点（平均特征向量），实现实时调度中的高效冲突预测。
• 通过监控事务响应时间并阻塞过载队列，实现工作负载均衡，防止性能下降。
• 应用无监督聚类算法识别具有相似冲突模式的事务组，无需标注冲突数据即可增强调度决策。
• 通过轻量级API集成调度器，确保运行时开销线性于事务长度，使其在高吞吐量系统中依然实用。

实验结果

研究问题

• RQ1 机器学习能否在主内存OLTP系统中准确预测事务冲突，以指导调度决策？
• RQ2 基于冲突感知的调度（将冲突事务分组）是否能在保持高吞吐量的同时降低中止率？
• RQ3 智能调度在可分区与不可分区工作负载上是否均优于随机调度？
• RQ4 在实时调度环境中，冲突预测与动态负载均衡的性能开销如何？
• RQ5 监督学习与无监督学习的结合在最小系统修改下，对提升调度决策的有效性如何？

主要发现

• 所提出的智能调度方法在20核机器上相比随机调度，吞吐量最高提升54%。
• 在高竞争工作负载下，中止率相比随机调度降低了80%。
• 平衡向量分配调度器有效实现了核心间的工作负载均衡，同时最小化了冲突，避免了因队列失衡导致的性能下降。
• 表现最佳的调度器仅需约500行额外代码，证明了其工程开销极低。
• 该方法在不可分区工作负载中表现出良好泛化能力，传统分区策略在此类场景下失效，显示出对多样化事务模式的鲁棒性。
• 模型推理开销保持较低水平——与事务长度呈线性关系，使其在高性能OLTP系统中具备实时应用可行性。