[论文解读] The Computational Limits of Deep Learning

Neil Thompson, Kristjan Greenewald+2 more|arXiv (Cornell University)|Jul 10, 2020

Machine Learning and Data Classification被引用 311

一句话总结

这篇论文分析深度学习的进展与不断增长的计算资源之间的紧密联系，显示当前趋势将带来不可持续的成本和环境影响，并主张采用更高效的方法或替代路径。

ABSTRACT

Deep learning's recent history has been one of achievement: from triumphing over humans in the game of Go to world-leading performance in image classification, voice recognition, translation, and other tasks. But this progress has come with a voracious appetite for computing power. This article catalogs the extent of this dependency, showing that progress across a wide variety of applications is strongly reliant on increases in computing power. Extrapolating forward this reliance reveals that progress along current lines is rapidly becoming economically, technically, and environmentally unsustainable. Thus, continued progress in these applications will require dramatically more computationally-efficient methods, which will either have to come from changes to deep learning or from moving to other machine learning methods.

研究动机与目标

• 量化深度学习性能如何在关键基准测试中随计算能力的增长而扩展。
• 评估在深度学习中扩展计算所带来的经济和环境成本。
• 解释深度学习在理论上与实践中为何计算密集。
• 预测未来的计算需求并讨论对效率与方法学的影响。

提出的方法

• 对1,526篇深度学习论文的细致元分析，覆盖图像分类、目标检测、QA、NER、MT、语音、人脸检测、图像生成和姿态估计。
• 两个计算负担度量：网络运算量（flops）和硬件负担（训练硬件时长/工时）。
• 将性能（如 ImageNet Top-1 误差）与计算得出的计算量联系起来的回归分析，包括稳健性检验（规格 (1)-(8)）。
• 将模型过参量化与数据、计算和性能扩展之间的理论讨论。
• 在多项式和指数尺度假设下，对观察到的扩展进行外推，以预测未来的计算、成本和环境影响。

实验结果

研究问题

• RQ1 深度学习性能如何在主要基准测试中随计算增加而扩展？
• RQ2 训练计算量与性能之间的关系，以及计算量可以解释多少方差？
• RQ3 当前计算扩展对深度学习的经济和环境影响是什么？
• RQ4 效率提升是否能够显著改变达到基准目标所需的预测计算量？

主要发现

• 计算是跨基准对深度学习性能的强预测因子，在图像分类中，误差与计算之间存在显著的负相关关系。
• 对 ImageNet，估计的扩展意味着计算量大致随 Performance^12.5 增长，即把误差减半大约需要 5,000× 更多的计算（置信区间为 1,500× 到 17,500×）。
• 算法改进能够带来提升，但并不能消除计算需求的快速上升；三年的算法进展相当于相同性能下约 10× 的计算量。
• 在各基准间，网络运算量和硬件负担都呈现与性能强烈、统计显著的扩展，表明进展在广泛意义上依赖计算。
• 在多项式和指数模型下的外推表明，若效率显著改进，否则达到某些目标将面临高昂的计算、碳排放和金钱成本。