[论文解读] The Effect of Communication and Synchronization on Amdahl Law in Multicore Systems

Leonid Yavits, Amir Morad+1 more|arXiv (Cornell University)|Jun 14, 2013

Parallel Computing and Optimization Techniques参考文献 22被引用 6

一句话总结

本文将阿姆达尔定律扩展至考虑多核系统中的通信和同步开销，表明即使并行化比例（f）很高，这些因素仍会显著降低并行加速比。改进的模型显示，随着核间通信和同步的增加，性能会下降，通常导致小核心执行或串行处理比扩展到大量核心更高效。

ABSTRACT

This work analyses the effects of sequential-to-parallel synchronization and inter-core communication on multicore performance, speedup and scaling. A modification of Amdahl law is formulated, to reflect the finding that parallel speedup is lower than originally predicted, due to these effects. In applications with high inter-core communication requirements, the workload should be executed on a small number of cores, and applications of high sequential-to-parallel synchronization requirements may better be executed by the sequential core, even when f, the Amdahl fraction of parallelization, is very close to 1. To improve the scalability and performance speedup of a multicore, it is as important to address the synchronization and connectivity intensities of parallel algorithms as their parallelization factor.

研究动机与目标

• 分析通信和同步开销如何影响多核性能和加速比，超越传统阿姆达尔定律的范围。
• 识别标准阿姆达尔定律在预测真实世界多核可扩展性方面的局限性。
• 提出一种改进的理论模型，将同步和通信成本作为关键性能瓶颈。
• 通过识别高同步或通信需求下的最优核心数量和执行策略，指导应用程序设计。

提出的方法

• 推导出包含核间通信和同步开销项的阿姆达尔定律改进版本。
• 引入新参数以量化通信强度和同步频率对执行时间的影响。
• 分析核心数量、并行化比例（f）与由通信和同步引起的性能退化之间的关系。
• 使用理论建模与分析，比较标准阿姆达尔定律与扩展模型下的加速比趋势。
• 证明即使f值很高（接近1），由于过度的同步或通信，性能也可能无法实现扩展。
• 评估并行化与开销之间的权衡，结论是在高开销场景下，小核心执行可能优于大规模核心扩展。

实验结果

研究问题

• RQ1 根据阿姆达尔定律，通信和同步开销如何影响多核系统中预测的加速比？
• RQ2 在何种条件下，即使并行化比例很高，核间通信强度过高也会使多核扩展变得低效？
• RQ3 当同步和通信成本很高时，串行执行是否可能优于多核系统上的并行执行？
• RQ4 对于具有高同步或通信强度的应用，最优核心数量是多少？
• RQ5 改进的阿姆达尔定律模型如何提升对真实世界多核性能的预测能力？

主要发现

• 改进的阿姆达尔定律表明，即使并行化比例f接近1，通信和同步开销仍可能显著降低加速比。
• 通信强度高的应用由于通信成本随核心数量增加而上升，最适合在少量核心上执行。
• 高同步需求可能使串行执行比多核系统上的并行执行更高效。
• 并行算法的性能不仅受其并行化因子限制，还受其同步强度和连通性强度的制约。
• 该模型表明，可扩展性受限于通信和同步开销，而不仅仅是顺序代码部分。
• 研究结论认为，优化通信和同步与最大化并行化同等重要，是实现高性能的关键。