[论文解读] Seeing Shapes in Clouds: On the Performance-Cost trade-off for Heterogeneous Infrastructure-as-a-Service

Gordon Inggs, David B. Thomas+2 more|arXiv (Cornell University)|Jun 22, 2015

Distributed systems and fault tolerance参考文献 5被引用 3

一句话总结

本文提出一种形式化的混合整数线性规划（MILP）方法，用于在异构基础设施即服务（IaaS）平台（包括CPU、GPU和FPGA）之间优化工作负载分区，平衡性能与成本。通过将任务分配建模为多目标优化问题，MILP方法实现了帕累托最优的权衡，在真实世界的期权定价工作负载中，相比启发式方法，延迟降低高达110%，成本降低超过50%。

ABSTRACT

In the near future FPGAs will be available by the hour, however this new Infrastructure as a Service (IaaS) usage mode presents both an opportunity and a challenge: The opportunity is that programmers can potentially trade resources for performance on a much larger scale, for much shorter periods of time than before. The challenge is in finding and traversing the trade-off for heterogeneous IaaS that guarantees increased resources result in the greatest possible increased performance. Such a trade-off is Pareto optimal. The Pareto optimal trade-off for clusters of heterogeneous resources can be found by solving multiple, multi-objective optimisation problems, resulting in an optimal allocation of tasks to the available platforms. Solving these optimisation programs can be done using simple heuristic approaches or formal Mixed Integer Linear Programming (MILP) techniques. When pricing 128 financial options using a Monte Carlo algorithm upon a heterogeneous cluster of Multicore CPU, GPU and FPGA platforms, the MILP approach produces a trade-off that is up to 110% faster than a heuristic approach, and over 50% cheaper. These results suggest that high quality performance-resource trade-offs of heterogeneous IaaS are best realised through a formal optimisation approach.

研究动机与目标

• 解决在异构IaaS平台（CPU、GPU、FPGA）之间高效划分计算工作负载的挑战，以平衡性能与成本。
• 将性能-成本权衡形式化为异构基础设施的多目标优化问题。
• 评估形式化优化（MILP）是否在生成高效、帕累托最优的任务分配方面优于启发式方法。
• 在真实世界的高性能计算（HPC）工作负载（如金融期权定价）中，展示形式化优化的实际优势。
• 验证当智能划分时，异构IaaS平台能否在性能和成本方面带来显著优势。

提出的方法

• 基于硬件指标和使用率，使用预测运行时模型对每种IaaS平台（CPU、GPU、FPGA）的性能和成本特性进行建模。
• 将工作负载分区问题形式化为一个混合整数线性规划（MILP）问题，目标是最小化总成本和延迟。
• 为跨平台的任务分配定义决策变量，整合固定设置时间等非线性效应以及可变时间片成本。
• 实现一种启发式方法，根据绝对延迟和成本优先选择平台，但不考虑非线性效应或时间片影响。
• 使用来自AWS、GCE和Azure的16个异构IaaS平台上的128个蒙特卡洛期权定价任务作为基准工作负载。
• 将模型预测结果与实际执行测量值进行对比，以评估优化方法的准确性和实用性。

实验结果

研究问题

• RQ1 形式化的多目标优化方法是否能在异构IaaS平台中生成比启发式方法更优的性能-成本权衡？
• RQ2 固定设置时间等非线性因素如何影响启发式方法与形式化优化在工作负载分区中的有效性？
• RQ3 异构IaaS平台（CPU、GPU、FPGA）在性能和成本效率方面，相较于同构平台能提升多少？
• RQ4 预测模型在估计跨多样化IaaS平台的任务分配延迟和成本方面，准确度如何？
• RQ5 在真实世界的HPC工作负载中，平台异构性对性能与成本之间帕累托最优权衡的影响如何？

主要发现

• 在最佳情况下，基于MILP的优化方法相比启发式方法，延迟降低了110%。
• 在相同的性能约束下，MILP方法相比启发式方法将总成本降低了超过50%。
• 由于无法建模时间片效应，启发式方法未能有效利用CPU平台，而MILP方法则通过利用这些效应实现了成本和性能的提升。
• 两种方法的模型预测值与实际测量结果的偏差均在10%以内，表明其在实际应用中具有强大的预测准确性。
• MILP生成的帕累托最优权衡在中位数和上界成本方面均优于启发式方法，证明了其持续的优越性。
• 异构IaaS平台整体提供的性能和成本效率，显著优于单一平台类型单独使用的情况。