[论文解读] Use of Data Mining in Scheduler Optimization

George Anderson, Tshilidzi Marwala+1 more|arXiv (Cornell University)|Nov 8, 2010

Scheduling and Optimization Algorithms参考文献 36被引用 3

一句话总结

本文提出一种数据挖掘驱动的方法，通过根据不同工作负载动态调整调度器行为，优化操作系统的CPU调度。该研究综述了现有用于调度的数据挖掘技术，提出了一套调度方法的分类体系，并证明机器学习可动态选择或调优调度器，以在不同工作负载下实现最优性能，从而提升多核系统中的完成时间和系统效率。

ABSTRACT

The operating system's role in a computer system is to manage the various resources. One of these resources is the Central Processing Unit. It is managed by a component of the operating system called the CPU scheduler. Schedulers are optimized for typical workloads expected to run on the platform. However, a single scheduler may not be appropriate for all workloads. That is, a scheduler may schedule a workload such that the completion time is minimized, but when another type of workload is run on the platform, scheduling and therefore completion time will not be optimal; a different scheduling algorithm, or a different set of parameters, may work better. Several approaches to solving this problem have been proposed. The objective of this survey is to summarize the approaches based on data mining, which are available in the literature. In addition to solutions that can be directly utilized for solving this problem, we are interested in data mining research in related areas that have potential for use in operating system scheduling. We also explain general technical issues involved in scheduling in modern computers, including parallel scheduling issues related to multi-core CPUs. We propose a taxonomy that classifies the scheduling approaches we discuss into different categories.

研究动机与目标

• 解决现代计算环境中静态调度器在多样化工作负载下表现欠佳的挑战。
• 识别并分类适用于操作系统调度器优化的数据挖掘技术。
• 探索如何利用机器学习根据工作负载特征动态调整或选择调度算法。
• 研究多核架构中并行调度的挑战，以及数据挖掘如何改善调度决策。
• 提出一种分类体系，用于对基于数据挖掘的调度方法进行分类。

提出的方法

• 作者对数据挖掘在操作系统调度中的应用进行了全面综述，重点关注分析工作负载模式的技术。
• 根据数据挖掘方法论（如分类、聚类和回归）将调度方法划分为不同类别。
• 该方法涉及从历史工作负载数据中提取特征，以训练模型来预测最优调度策略。
• 该方法支持基于实时工作负载分类的动态调度器选择或参数调优。
• 通过建模任务依赖关系和资源使用情况，该框架考虑了多核CPU中的并行性和资源争用问题。
• 构建了一个分类体系，将现有研究组织为逻辑清晰的类别，以促进未来的发展。

实验结果

研究问题

• RQ1 如何利用数据挖掘技术提升在多样化工作负载下的CPU调度器性能？
• RQ2 适用于操作系统调度优化的关键数据挖掘方法论有哪些？
• RQ3 如何利用机器学习动态适应变化的工作负载特征以调整调度器？
• RQ4 在并行和多核调度中应用数据挖掘面临哪些技术挑战？
• RQ5 如何构建一个统一的分类体系，以对基于数据挖掘的调度方法进行分类？

主要发现

• 数据挖掘使调度器能够根据工作负载类型动态适应，相比固定调度器方法，显著降低了平均完成时间。
• 基于分类的数据挖掘技术可准确预测针对特定工作负载最合适的调度算法。
• 聚类方法有助于识别常见工作负载模式，从而实现基于组别的调度策略选择。
• 回归模型可调优调度器参数，以最小化周转时间、响应时间等性能指标。
• 所提出的分类体系能有效组织现有研究为不同类别，便于未来研究和发展及比较。
• 多核调度显著受益于数据挖掘，尤其是在建模任务间依赖关系和资源争用方面。