[论文解读] Sustainable AI: Environmental Implications, Challenges and Opportunities

Carole-Jean Wu, Ramya Raghavendra+23 more|arXiv (Cornell University)|Oct 30, 2021

Green IT and Sustainability参考文献 100被引用 346

一句话总结

本文提出对AI在数据、实验、训练、推理和硬件生命周期的环境足迹进行全面、端到端的评估，并勾勒跨栈优化和可持续性方向。

ABSTRACT

This paper explores the environmental impact of the super-linear growth trends for AI from a holistic perspective, spanning Data, Algorithms, and System Hardware. We characterize the carbon footprint of AI computing by examining the model development cycle across industry-scale machine learning use cases and, at the same time, considering the life cycle of system hardware. Taking a step further, we capture the operational and manufacturing carbon footprint of AI computing and present an end-to-end analysis for what and how hardware-software design and at-scale optimization can help reduce the overall carbon footprint of AI. Based on the industry experience and lessons learned, we share the key challenges and chart out important development directions across the many dimensions of AI. We hope the key messages and insights presented in this paper can inspire the community to advance the field of AI in an environmentally-responsible manner.

研究动机与目标

• 在数据、模型和硬件快速增长的背景下，促使人们理解AI的环境影响。
• 在ML开发周期和硬件生命周期中表征运营碳足迹和体现碳足迹。
• 通过数据、算法、系统和硬件设计，识别减少AI环境影响的挑战与机遇。
• 提出发展方向和最佳实践，以实现环境负责的AI。
• 用Facebook规模的用例来说明影响，并与OSS模型进行比较，以为未来研究提供参考。

提出的方法

• 对AI计算从数据处理到推理和硬件生命周期的环境足迹进行全面评估。
• 生命周期评估（LCA）框架，用于将制造（体现碳）和运营（运营碳）排放分开。
• 对六个Facebook生产ML模型的实证分析，并与七个OSS模型进行比较（例如BERT-NAS、T5、Meena、GShard-600B、Switch Transformer、GPT-3）。
• 跨栈的硬件-软件协同设计，展示潜在的运营碳减排（例如 Transformer LM 在特定分析中实现约800x 的优化增益）。
• 量化数据、实验、训练和推理等环节的能源和碳足迹，包括平台、基础设施和硬件优化。

实验结果

研究问题

• RQ1 行业规模的模型开发周期和硬件生命周期中，AI计算的碳足迹是多少？
• RQ2 运营碳和体现碳如何共同构成AI的总足迹，硬件-软件协同设计如何降低它？
• RQ3 哪些优化路径（数据、算法、系统和硬件）在训练和推理，尤其是语言模型和推荐模型，最有效地减少排放？
• RQ4 在AI研究和行业实践中构建可持续发展思维方式有哪些实际挑战和方向？
• RQ5 Facebook规模的模型在碳效率方面如何与OSS基线相比，以及嵌入成本在哪些方面占主导？

主要发现

• 体现碳可能构成大型ML任务制造与使用排放总量的约50%，使硬件生产成为早期阶段的主要贡献者。
• 在Facebook模型中，平均运营碳足迹比Meena高出1.8倍，且约为GPT-3训练足迹的三分之一。
• 硬件-软件协同设计在两年内实现了平均28.5%的运营功耗足迹削减，尽管AI基础设施仍在扩张。
• 对于语言模型，优化步骤包括平台缓存、GPU加速、低精度格式和算法改进，能够实现端到端资源使用超过800倍的降低。
• 量化和内存效率技术降低内存带宽，支持更小、耗电更低的部署，显著改善 RM1–RM5 的部署。
• 跨模型开发和系统栈的优化带来显著改进，但Jevons 悖论指出，随着持续的AI增长，整体能源需求仍可能上升。