[论文解读] Towards the Systematic Reporting of the Energy and Carbon Footprints of Machine Learning

Peter Henderson, Jie‐Ru Hu+4 more|arXiv (Cornell University)|Jan 31, 2020

Green IT and Sustainability被引用 306

一句话总结

该论文提出一种轻量、模块化的框架（experiment-impact-tracker）用于ML的实时能源、计算和碳排放核算，并通过案例研究展示其应用，建议采用能源排行榜和区域化测试等做法以降低排放。

ABSTRACT

Accurate reporting of energy and carbon usage is essential for understanding the potential climate impacts of machine learning research. We introduce a framework that makes this easier by providing a simple interface for tracking realtime energy consumption and carbon emissions, as well as generating standardized online appendices. Utilizing this framework, we create a leaderboard for energy efficient reinforcement learning algorithms to incentivize responsible research in this area as an example for other areas of machine learning. Finally, based on case studies using our framework, we propose strategies for mitigation of carbon emissions and reduction of energy consumption. By making accounting easier, we hope to further the sustainable development of machine learning experiments and spur more research into energy efficient algorithms.

研究动机与目标

• 在 ML 研究中，推动对能源与碳排放进行准确、系统化记账的需求。
• 提出一个轻量、可扩展的框架，用于跟踪每个实验的能源、计算和碳足迹。
• 通过实证研究演示该框架，并提出缓解措施与报告建议。

提出的方法

• 将 experiment-impact-tracker 作为一个模块化数据路由器，引收来自 CPU/GPU、Python 环境和电力工具的指标；从跟踪数据生成在线附录。
• 使用 etotal = PUE × Σ(pdramedram + pcpuecpu + pgpuegpu) 来计算总能量，以在共享硬件上分配给每个进程的能量。
• 从区域电网数据（如 electricitymap）和 CAISO 实时数据收集碳强度，以计算 CO2eq 排放。
• 提供每个实验的碳影响声明（包含碳的社会成本）以及自动化的基于网页的附录。
• 突出展示强化学习能源排行榜，以激励高效能源利用的 RL 方法。
• 分析 FLOPs（FPOs）在不同架构间并不能可靠地预测能耗，并在同一架构内显示出更强的相关性。

实验结果

研究问题

• RQ1 ML 实验如何以轻量、可重复的方式跟踪能源与碳排放影响？
• RQ2 常用的效率指标（如 FLOPs）在跨架构和同一架构内与实际能耗的相关程度有多大？
• RQ3 哪些实际策略（排行榜、区域测试、可重复性实践）可以降低 ML 研究中的能源使用和排放？

主要发现

• 该框架实现对能源、CPU/GPU 电力消耗、按进程的资源归因以及在线附录的自动化日志记录。
• 跨架构中，FLOPs 与能耗或运行时间相关性不强；在单一架构内，FLOPs 与能耗和时间相关性很强（以 VGG 的 FLOPs 为例，R2≈1.0）。
• 论文给出其实验的具体碳足迹示例：8.021 kg CO2eq、耗能 24.344 kWh，且美国特定的碳社会成本为 $0.38。
• 区域碳强度可引起 CO2 排放的巨大差异；在 RL 实验中，排放可能随地区而异，基于电网结构差异甚至可达 30 倍差异。
• 该框架倡导系统性的变革：能源高效的排行榜、在实验中选择碳友好区域、降低开销、能源与性能权衡，以及对能源与碳指标的一致性报告。