[论文解读] Watt For What: Rethinking Deep Learning's Energy-Performance Relationship

Shreyank N Gowda, Xinyue Hao+4 more|arXiv (Cornell University)|Oct 10, 2023

Green IT and Sustainability被引用 4

一句话总结

本文提出了一项新度量——每单位电能消耗的准确率，以重新审视深度学习中的效率-准确率权衡问题，表明更小、更节能的模型在每瓦性能上可与大型模型比肩甚至超越。研究揭示，尽管预训练和自监督学习成本高昂，但其迁移能力极强，并倡导通过关注能效的模型设计，推动可持续、公平的人工智能发展。

ABSTRACT

Deep learning models have revolutionized various fields, from image recognition to natural language processing, by achieving unprecedented levels of accuracy. However, their increasing energy consumption has raised concerns about their environmental impact, disadvantaging smaller entities in research and exacerbating global energy consumption. In this paper, we explore the trade-off between model accuracy and electricity consumption, proposing a metric that penalizes large consumption of electricity. We conduct a comprehensive study on the electricity consumption of various deep learning models across different GPUs, presenting a detailed analysis of their accuracy-efficiency trade-offs. By evaluating accuracy per unit of electricity consumed, we demonstrate how smaller, more energy-efficient models can significantly expedite research while mitigating environmental concerns. Our results highlight the potential for a more sustainable approach to deep learning, emphasizing the importance of optimizing models for efficiency. This research also contributes to a more equitable research landscape, where smaller entities can compete effectively with larger counterparts. This advocates for the adoption of efficient deep learning practices to reduce electricity consumption, safeguarding the environment for future generations whilst also helping ensure a fairer competitive landscape.

研究动机与目标

• 为应对日益增长的能源密集型深度学习模型所带来的环境与经济负担。
• 探究大规模预训练是否在性能提升方面合理地承担了其巨大的电力消耗。
• 通过推广节能的模型设计，使小型研究机构能够与大型机构竞争。
• 量化不同架构和任务下预训练与微调的能源成本。
• 倡导将评估指标从单一准确率，转向每单位电能消耗的准确率。

提出的方法

• 测量多种GPU和硬件配置下深度学习模型的电能消耗。
• 引入一项新度量：每千瓦时（kWh）的准确率，以评估模型效率。
• 在图像分类、分割和视频动作识别任务中，评估了包括ResNets、Vision Transformers、Swin、ViT、BEiT和MAE在内的多种模型。
• 分别分析预训练与微调的成本，突出显示预训练占总能耗的主导地位。
• 对比自监督模型（BEiT、MAE）与监督基线模型，以评估迁移能力与成本效率。
• 使用现实世界的电能基准（如家庭、超市、飞机）来量化模型的能耗。

实验结果

研究问题

• RQ1 顶尖深度学习模型的能耗与日常电能用户相比如何？
• RQ2 预训练在提升模型准确率方面的收益，与其能耗成本相比有多大？
• RQ3 与监督预训练相比，自监督学习方法是否能在更低能耗下实现高性能？
• RQ4 每瓦准确率度量如何揭示出对小型研究机构更公平的竞争格局？
• RQ5 大规模预训练带来的性能提升，是否足以证明其巨大的电力消耗是合理的？

主要发现

• GPT-3-175B模型在训练期间消耗了1,287,000千瓦时电能，相当于一家英国超市的年用电量。
• OPT-175B模型在训练期间消耗了356,000千瓦时电能，凸显了大型模型的极端能耗。
• 自监督预训练占总训练能耗的90%以上，而微调和推理的能耗相比之下可忽略不计。
• ViT-B相比从零开始训练，准确率提升了6%，但其耗电量是后者十倍。
• 更小、更节能的模型可在每瓦性能上实现相当或更优的表现，从而实现更快、更可持续的研究。
• 在JFT和ImageNet-21k等大规模数据集上进行预训练，显示出数据量与预期电能消耗之间存在线性相关性。