[论文解读] Re-evaluating scaling methods for distributed parallel systems

János Végh|arXiv (Cornell University)|Feb 17, 2020

Distributed and Parallel Computing Systems被引用 1

一句话总结

本文重新审视了分布式并行系统中的阿姆达尔定律，指出其被误读——特别是将 α 视为指令级并行度而非基于时间的可并行部分——导致了错误的可扩展性预测。本研究证明，当使用处理时间正确解释时，阿姆达尔定律能准确描述从超级计算机到云系统的性能极限，关键验证来自 AWS、Azure 和 Edison 超级计算机上的 HPCG 和 HPL 基准测试。

ABSTRACT

The paper explains why Amdahl's Law shall be interpreted specifically for distributed parallel systems and why it generated so many debates, discussions, and abuses. We set up a general model and list many of the terms affecting parallel processing. We scrutinize the validity of neglecting certain terms in different approximations, with special emphasis on the famous scaling laws of parallel processing. We clarify that when using the right interpretation of terms, Amdahl's Law is the governing law of all kinds of parallel processing. Amdahl's Law describes among others the history of supercomputing, the inherent performance limitation of the different kinds of parallel processing and it is the basic Law of the 'modern computing' paradigm, that the computing systems working under extreme computing conditions are desperately needed.

研究动机与目标

• 纠正分布式并行系统中阿姆达尔定律的广泛误解。
• 阐明 α 应表示可并行工作的时间占比，而非指令计数。
• 利用云和超级计算平台上的真实 HPC 基准测试验证阿姆达尔定律。
• 证明不恰当的测量伪影（如网络访问时间）会扭曲效率和 α 估计值。
• 表明当忽略测量中的外部性能开销时，强可扩展性预测会失败。

提出的方法

• 提出基于时间的阿姆达尔定律重释，其中 α 表示总执行时间中用于可并行工作的时间比例。
• 引入简化模型以可视化强可扩展性和弱可扩展性的有效区域。
• 使用云服务（AWS、Azure、Rackspace、SoftLayer）和超级计算机（Edison）的实测执行时间，计算有效 α 和效率。
• 分析不同云和超级计算平台上的基准数据（HPCG、HPL），评估可扩展性行为。
• 应用反向投影技术估算单处理器效率和 (1−α)，以检测测量伪影。
• 对比不同平台的观测效率和 (1−α) 趋势，识别由网络和 I/O 开销引起的系统性误差。

实验结果

研究问题

• RQ1 为何阿姆达尔定律在分布式并行系统中被误用，α 的正确解释是什么？
• RQ2 测量伪影——尤其是云系统中的网络访问时间——如何扭曲效率和 α 估计值？
• RQ3 阿姆达尔定律在真实 HPC 和云环境中在多大程度上能准确预测性能可扩展性？
• RQ4 为何不同云平台（如 AWS、Azure F 系列）在硬件相似的情况下表现出不同的可扩展性行为？
• RQ5 如何区分真实的并行化极限与由测量误差导致的人为性能下降？

主要发现

• 当 α 正确解释为可并行工作的时间占比时，阿姆达尔定律能准确描述超级计算机和云系统中的性能极限。
• 测量伪影——尤其是云基准测试中未计入的访问时间——即使在单核系统上也会导致效率低于 100%，从而扭曲 α 估计值。
• 反向投影得到的 (1−α) 值在各平台上一致趋近于 1，证实 α 并未因测量误差而被人为放大。
• TOP500 级超级计算机的 α 值比云网格高约 1000 倍，仅在处理器数量极大时才产生显著差异。
• 基于 α 的效率排名与实际效率排名呈相反关系，且与服务定价高度相关，表明 α 是系统开销的代理指标。
• 在云平台上，若在总执行时间中排除访问时间，HPCG 基准测试的性能可与超级计算机相当，前提是 α 测量正确。