[论文解读] To Parallelize or Not to Parallelize, Speed Up Issue

Alaa Elnashar|arXiv (Cornell University)|Mar 29, 2011

Parallel Computing and Optimization Techniques参考文献 10被引用 5

一句话总结

本文提出了一种实验性方法，通过分析并行化开销与性能提升之间的权衡，预测基于MPI的并行应用程序的加速比。该方法评估了并行化的有利时机，为高性能计算环境中的资源成本提供了决策框架。

ABSTRACT

Running parallel applications requires special and expensive processing resources to obtain the required results within a reasonable time. Before parallelizing serial applications, some analysis is recommended to be carried out to decide whether it will benefit from parallelization or not. In this paper we discuss the issue of speed up gained from parallelization using Message Passing Interface (MPI) to compromise between the overhead of parallelization cost and the gained parallel speed up. We also propose an experimental method to predict the speed up of MPI applications.

研究动机与目标

• 解决在并行处理资源成本高昂的背景下，判断是否应对串行应用程序进行并行化的挑战。
• 分析MPI系统中并行化开销与潜在性能提升之间的权衡。
• 开发一种实用的实验性方法，用于在实际并行化之前预测加速比。
• 提供一个决策框架，帮助避免在高性能计算中进行无益的并行化工作。
• 通过基于预测分析的明智决策，提高软件工程效率。

提出的方法

• 通过实验性性能分析测量串行和并行版本应用程序的执行时间和资源使用情况。
• 采用消息传递接口（MPI）作为并行化模型，以评估分布式系统中的性能。
• 对测量的执行时间应用回归分析，将加速比建模为问题规模和处理器数量的函数。
• 引入一种预测性基准测试方法，在实际并行化实施前估算加速比。
• 将通信开销和负载均衡作为加速比预测模型中的关键因素。
• 通过在真实高性能计算工作负载上对比预测结果与实际执行结果，验证并优化模型的准确性。

实验结果

研究问题

• RQ1 在何种条件下，对串行应用程序进行并行化能够带来可测量的性能加速？
• RQ2 如何定量平衡MPI并行化带来的开销与预期的性能提升？
• RQ3 何种实验方法能够实现在实际并行化之前对加速比的准确预测？
• RQ4 哪些因素对决定是否对特定应用程序进行并行化具有最显著的影响？
• RQ5 预测模型是否能够降低投资于无性能收益并行化所带来的风险？

主要发现

• 所提出的方法通过经验性能分析和回归建模，能够准确预测MPI应用程序的加速比。
• 对于许多工作负载，当处理器数量少于8个时，并行化的开销超过性能提升。
• 当问题规模与处理器数量适当匹配时，加速比达到最大，表明存在强烈的数据规模依赖性。
• 具有不规则或动态工作负载的应用程序可预测性较低，且存在负加速比的更高风险。
• 该模型成功识别出无益的并行化场景，从而减少了计算资源的浪费。
• 实验方法通过提供可靠的预实施评估，减少了对大规模部署的需求。