[论文解读] Quantifying the Carbon Emissions of Machine Learning

Alexandre Lacoste, Alexandra Sasha Luccioni+2 more|arXiv (Cornell University)|Oct 21, 2019

Explainable Artificial Intelligence (XAI)参考文献 18被引用 130

一句话总结

本文提出了机器学习排放计算器，用于估算 ML 训练的二氧化碳当量，强调位置、硬件和训练时间如何驱动排放，并提供可行的减排对策。

ABSTRACT

From an environmental standpoint, there are a few crucial aspects of training a neural network that have a major impact on the quantity of carbon that it emits. These factors include: the location of the server used for training and the energy grid that it uses, the length of the training procedure, and even the make and model of hardware on which the training takes place. In order to approximate these emissions, we present our Machine Learning Emissions Calculator, a tool for our community to better understand the environmental impact of training ML models. We accompany this tool with an explanation of the factors cited above, as well as concrete actions that individual practitioners and organizations can take to mitigate their carbon emissions.

研究动机与目标

• 激励量化 ML 训练排放并标准化报告的必要性。
• 将机器学习排放计算器作为估算 ML 训练 CO2e 的工具。
• 解释影响 ML 排放的关键因素（位置、硬件、训练时间）及其减排方法。
• 为从业者和组织提供降低碳影响的最佳实践和可操作指导。

提出的方法

• 将二氧化碳当量（CO2e）定义为排放的归一化指标。
• 收集公开的电网排放因子数据，并将其映射到来自主要云提供商的 GPU 服务器位置。
• 开发一个排放计算器，输入地理区域、GPU 类型和训练时长以估算 CO2e。
• 在排放估算中讨论能源电网结构、数据中心的皮瓦效率（PUE）以及提供商的抵消（RECs）等因素。
• 倡导通过公开的仓库和问题跟踪实现数据的开放性与社区更新。

实验结果

研究问题

• RQ1 在不同地理区域训练 ML 模型时会排放多少 CO2e？
• RQ2 硬件选择（CPU/GPU/TPU）和训练时长如何影响总排放？
• RQ3 选择数据中心位置或云提供商在多大程度上能降低排放？
• RQ4 哪些实际行动和最佳实践最有效地降低 ML 训练的碳足迹？
• RQ5 当前对 ML 训练排放估算的局限性和不确定性有哪些？

主要发现

• 排放因地区而异显著，示例显示各区域每千瓦时的 CO2e 存在较大差异。
• 对多 GPU 模型进行数周的训练会带来可观的排放，强调基础设施和时长的影响。
• 选择由低碳电网供电的数据中心位置可以显著降低排放（如前述的地区差异所示）。
• 选择更高效的硬件（如 TPU）并采用随机超参数搜索相较于穷举搜索可以降低能耗。
• 使用预训练模型并进行微调在潜在上可能比完全训练实现相当的性能但排放更低。
• 承认排放估算的局限性和不确定性，并需要同时考虑推理/部署阶段的排放。