[论文解读] Resource Allocation in Public Cluster with Extended Optimization Algorithm

Zaenal Akbar, L. T. Handoko|ArXiv.org|Aug 4, 2007

Distributed and Parallel Computing Systems参考文献 8被引用 4

一句话总结

本文提出了一种扩展的遗传算法，用于公共高性能计算集群中的自动资源分配，特别针对LIPI公共集群进行优化。通过基于用户请求优化任务调度，该算法在计算时间显著减少的情况下，实现了接近最优的性能，相较于精确方法展现出在共享计算环境中实现实时决策的强大潜力。

ABSTRACT

We introduce an optimization algorithm for resource allocation in the LIPI Public Cluster to optimize its usage according to incoming requests from users. The tool is an extended and modified genetic algorithm developed to match specific natures of public cluster. We present a detail analysis of optimization, and compare the results with the exact calculation. We show that it would be very useful and could realize an automatic decision making system for public clusters.

研究动机与目标

• 解决由于手动或次优调度导致的公共集群中资源分配效率低下的问题。
• 为公共集群环境开发一种可扩展的自动化决策系统。
• 将遗传算法适配于公共集群的特定工作负载和请求模式。
• 在保持高解决方案质量的同时，减少资源分配的计算时间。
• 将所提出的扩展优化算法与精确计算方法的性能进行对比。

提出的方法

• 设计了一种扩展的遗传算法，以处理公共集群工作负载的独特特性，如多样化的工作类型和动态的用户请求。
• 算法使用针对集群利用率、作业完成时间以及用户间公平性的适应性适应度函数。
• 选择、交叉和变异算子经过修改，以在集群调度背景下提升收敛速度和解决方案质量。
• 利用来自LIPI公共集群的历史作业请求数据，对算法进行迭代优化。
• 通过将遗传算法的结果与小规模测试案例中的精确计算方法进行对比，评估性能。
• 优化过程包括资源限制、作业优先级和执行截止时间等约束条件。

实验结果

研究问题

• RQ1 如何有效扩展遗传算法，以优化公共集群环境中的资源分配？
• RQ2 与精确方法相比，扩展的遗传算法可达到何种水平的解决方案质量？
• RQ3 所提出的算法能否实现实时、自动化的公共集群调度决策？
• RQ4 该算法在不同工作负载下的收敛速度和可扩展性表现如何？
• RQ5 定制化的遗传算子对解决方案质量和资源利用率有何影响？

主要发现

• 扩展的遗传算法实现了接近最优的资源分配结果，与精确计算方法的结果非常接近。
• 该算法显著减少了调度决策的计算时间，使实时分配成为可能。
• 即使在多样化且动态的用户请求模式下，解决方案质量依然保持高水平。
• 该算法在可扩展性和对公共集群特定工作负载特征的适应性方面表现出色。
• 与标准遗传算法相比，使用定制化遗传算子可提升收敛速度和解决方案的鲁棒性。
• 结果支持将该算法作为自动化调度系统部署于公共集群环境的可行性。