[论文解读] The Importance of (Exponentially More) Computing Power

Neil Thompson, Shuning Ge+1 more|arXiv (Cornell University)|Jun 28, 2022

Complex Systems and Time Series Analysis被引用 6

一句话总结

本文量化了算力指数级增长在推动国际象棋、围棋、天气预报、蛋白质折叠和石油勘探五个领域性能提升中的作用，发现算力解释了49%至94%的进展。研究证明，线性性能提升需要算力的指数级增长，凸显了摩尔定律在技术与经济进步中的核心地位。

ABSTRACT

Denizens of Silicon Valley have called Moore's Law "the most important graph in human history," and economists have found that Moore's Law-powered I.T. revolution has been one of the most important sources of national productivity growth. But data substantiating these claims tend to either be abstracted - for example by examining spending on I.T., rather than I.T. itself - or anecdotal. In this paper, we assemble direct quantitative evidence of the impact that computing power has had on five domains: two computing bellwethers (Chess and Go), and three economically important applications (weather prediction, protein folding, and oil exploration). Computing power explains 49%-94% of the performance improvements in these domains. But whereas economic theory typically assumes a power-law relationship between inputs and outputs, we find that an exponential increase in computing power is needed to get linear improvements in these outcomes. This helps clarify why the exponential growth of computing power from Moore's Law has been so important for progress, and why performance improvements across many domains are becoming economically tenuous as Moore's Law breaks down.

研究动机与目标

• 提供算力如何驱动关键领域性能提升的直接、定量证据，超越IT支出等抽象指标。
• 通过展示线性性能提升需要算力的指数级增长，挑战经济模型中输入-输出关系为幂律的假设。
• 证明摩尔定律的放缓对关键科学与经济应用持续进步构成严重威胁。
• 使用实际系统成本而非经通胀调整的基准，分析高性能计算领域算力的真实成本随时间的变化。
• 确立算力作为多样化领域中主导且可量化的创新驱动力，对未来的生产率与技术发展具有深远影响。

提出的方法

• 收集了五个领域（国际象棋、围棋、天气预报、蛋白质折叠和石油勘探）中系统性能与硬件成本的详细历史记录。
• 以每秒操作数（如吉弗拉普斯）衡量算力，并独立于货币支出追踪其随时间的增长率。
• 估计了算力与性能结果之间的生产函数关系（如国际象棋和围棋中的ELO等级分、天气预报中的预测准确率、蛋白质建模中的折叠速度）。
• 使用实际系统成本与性能数据，计算单位性能提升的成本（如获得100个ELO等级分的成本）。
• 通过回归分析量化算力对性能提升的贡献比例，同时控制算法与架构进步的影响。
• 将观测到的成本趋势与摩尔定律及黄氏定律进行比较，发现由于GPU的采用，围棋系统的成本下降速度达到每年117%，快于摩尔定律。

Figure 1: Small subset of a decision tree for chess.

实验结果

研究问题

• RQ1 算力在多大程度上解释了国际象棋、围棋、天气预报、蛋白质折叠和石油勘探中的性能提升？
• RQ2 算力与性能之间的关系为何不同于简单的幂律关系，这对未来进展有何启示？
• RQ3 在高风险计算领域，实现增量性能提升（如100个ELO等级分）的实际成本随时间如何变化？
• RQ4 现实世界高性能系统中，计算硬件的成本趋势与摩尔定律和黄氏定律相比如何？
• RQ5 为何算力的指数级增长对多样化技术与经济领域中的持续进步如此关键？

主要发现

• 在所研究的五个领域中，算力解释了49%至94%的性能提升，其中蛋白质折叠和石油勘探领域的贡献最高。
• 在国际象棋领域，顶级系统所用硬件成本在1996–1997年卡斯帕罗夫与“深蓝”对弈期间达到峰值，随后因硬件成本下降而急剧下滑。
• 在围棋领域，MoGo系统开发期间（2008年）以及AlphaGo于2016年取得胜利期间，计算成本显著上升，反映出巨大的硬件投入。
• 由于采用GPU加速系统，围棋系统每吉弗拉普斯的成本年均下降117%，快于摩尔定律。
• 在开发高峰期，实现100个ELO等级分的性能提升需要算力成本增加一个数量级，凸显了进步带来的经济负担。
• 本研究表明，这些领域中的线性性能提升需要算力的指数级增长，从而解释了为何摩尔定律对持续创新如此关键。

Figure 2: Computer Chess: (a) Elo scores over time, (b) computing power used over time, and (c) Elo scores as computing power increases. In each subfigure, the dots are individual programs, the lines are linear regressions, and the shaded region is the 95% confidence interval for the regression.