[论文解读] Myths and Legends in High-Performance Computing

Satoshi Matsuoka, Jens Domke+3 more|arXiv (Cornell University)|Jan 6, 2023

Scientific Computing and Data Management被引用 4

一句话总结

本文识别并分析了高性能计算（HPC）社区中12个普遍存在的神话与传说——从量子计算优势到深度学习取代传统HPC——通过社区投票和专家分析。文章认为，这些神话反映了社区在技术范式转变背景下的集体不确定性，主张将其视为战略研究与投资讨论的催化剂，而非字面意义上的真理。

ABSTRACT

In this thought-provoking article, we discuss certain myths and legends that are folklore among members of the high-performance computing community. We gathered these myths from conversations at conferences and meetings, product advertisements, papers, and other communications such as tweets, blogs, and news articles within and beyond our community. We believe they represent the zeitgeist of the current era of massive change, driven by the end of many scaling laws such as Dennard scaling and Moore's law. While some laws end, new directions are emerging, such as algorithmic scaling or novel architecture research. Nevertheless, these myths are rarely based on scientific facts, but rather on some evidence or argumentation. In fact, we believe that this is the very reason for the existence of many myths and why they cannot be answered clearly. While it feels like there should be clear answers for each, some may remain endless philosophical debates, such as whether Beethoven was better than Mozart. We would like to see our collection of myths as a discussion of possible new directions for research and industry investment.

研究动机与目标

• 识别并记录HPC社区中广泛传播、尽管缺乏科学共识却仍影响话语的神话与传说。
• 分析这些神话背后的信念，以及其在摩尔定律和登纳德缩放定律终结等背景下所受的技术、经济与文化驱动力影响。
• 通过将神话视为哲学与战略催化剂而非虚假陈述，激发关于未来研究与投资方向的批判性讨论。
• 利用大规模社区投票量化关键HPC辩论中的情感倾向，为经验观察提供实证基础。
• 通过区分技术可行路径与投机性炒作，为产业与政府投资提供指导，尤其在量子计算、人工智能与云迁移领域。

提出的方法

• 从多种来源收集神话：会议、社交媒体（如Twitter）、产品广告、博客、新闻与学术论文。
• 通过12个神话的33项结构化投票收集社区反馈，问题涵盖时间线、可行性与技术转变。
• 使用情感分类（不同意至相信）分析投票结果，并通过图表可视化各神话的社区分歧。
• 结合专家推理与技术文献，评估每个神话的科学可信度，引用量子计算、深度学习泛化能力与云经济性方面的局限性。
• 应用资源估算技术（如Beverland et al., 2022）评估量子算法的潜力。
• 将历史趋势（如登纳德缩放定律的终结）与新兴范式（如算法缩放与可重构硬件）进行对比。

实验结果

研究问题

• RQ1 哪些神话最持久地塑造了当前HPC话语？其背后的社会或技术力量是什么？
• RQ2 像量子计算取代HPC或深度学习取代模拟这样的神话，在多大程度上反映了真实的技术轨迹，还是仅仅是投机性炒作？
• RQ3 经济因素（如资本支出与运营支出）在云基础设施与本地部署HPC基础设施的辩论中起到何种作用？
• RQ4 社区情感与信念结构在引导未来HPC研究与投资决策中扮演何种角色？
• RQ5 哪些神话最具争议性？何种证据或基准可最终解决它们？

主要发现

• HPC神话的社区情感严重分化：2557名受访者中，794人不同意神话，682人相信，显示出显著的两极分化。
• 关于可重构硬件（如FPGA）实现100倍性能提升的信念存在争议——尽管大多数人不相信其对HPC有重大影响，但多数人支持投入时间和资源探索其潜力。
• 不足一半的社区相信未来十年内HPC算力的过半将迁移到云端，表明对云迁移的普遍怀疑。
• 相当一部分人（682/2557）相信Fortran在长期内仍具可行性，违背了其即将消亡的反复预测，显示出其在HPC中的持久相关性。
• 投票结果显示，对量子计算在十年内实现商业盈利持强烈怀疑态度，尽管对基础算法的兴趣依然很高。
• 尽管在天气建模与数据压缩方面取得显著成果，深度学习仍被视为高风险、高回报的传统模拟替代方案，其精度与速度的权衡仍未解决。