[论文解读] Towards Climate Awareness in NLP Research

Daniel Hershcovich, Nicolas Webersinke+3 more|Zurich Open Repository and Archive (University of Zurich)|May 10, 2022

Topic Modeling被引用 4

一句话总结

本文提出了一种实用的气候性能模型卡片，以标准化并简化自然语言处理（NLP）研究中环境影响的报告，解决尽管意识日益增强，但系统性气候报告仍显不足的问题。该模型卡片采用轻量化、易用的模板，仅需极少的硬件细节，可广泛采用，以提升透明度，并推动NLP社区中气候友好型实践的发展。

ABSTRACT

The climate impact of AI, and NLP research in particular, has become a serious issue given the enormous amount of energy that is increasingly being used for training and running computational models. Consequently, increasing focus is placed on efficient NLP. However, this important initiative lacks simple guidelines that would allow for systematic climate reporting of NLP research. We argue that this deficiency is one of the reasons why very few publications in NLP report key figures that would allow a more thorough examination of environmental impact. As a remedy, we propose a climate performance model card with the primary purpose of being practically usable with only limited information about experiments and the underlying computer hardware. We describe why this step is essential to increase awareness about the environmental impact of NLP research and, thereby, paving the way for more thorough discussions.

研究动机与目标

• 解决尽管日益关注人工智能的环境成本，但NLP研究中仍缺乏系统性气候影响报告的问题。
• 识别当前工具和实践未能在NLP社区中广泛采用的原因。
• 提出一种实用、轻量级的模型卡片，实现透明的气候性能报告，且输入数据需求极少。
• 通过将环境影响考量整合到标准研究报告工作流中，提升主流NLP领域对气候问题的关注。
• 通过促进诚实、标准化且透明的NLP实验CO2排放报告，降低绿色洗白（greenwashing）风险。

提出的方法

• 对过去六年的NLP文献进行定量调查，以评估环境影响声明的普遍性和质量。
• 制定NLP中“效率”概念的分类体系，以统一术语和报告方式。
• 提出一种气候性能模型卡片模板，仅使用基本实验和硬件信息报告关键环境指标。
• 设计模型卡片以兼容现有平台（如Hugging Face），实现与模型共享和出版工作流的集成。
• 借鉴财务报告原则，提升气候影响沟通的透明度并减少歧义。
• 提供LaTeX和Markdown格式的开源模板，以及一个Jupyter笔记本以支持可复现性与工具开发。

实验结果

研究问题

• RQ1 尽管人工智能的环境成本日益受到关注，为何NLP研究中的气候影响报告仍不常见？
• RQ2 影响NLP实验环境影响的关键维度有哪些？如何实现系统性报告？
• RQ3 如何设计一种既实用又透明的模型卡片，使其仅需极少输入信息，仍能实现有意义的气候影响评估？
• RQ4 标准化的气候报告在多大程度上可减少绿色洗白并提升NLP研究的问责性？
• RQ5 如何在不增加过多负担的前提下，将气候性能报告集成到主流NLP工作流中？

主要发现

• 对六年内NLP论文的调查显示，尽管问题日益受到关注，气候影响声明仍不常见。
• 现有的碳足迹估算自动化工具使用率较低，主要因复杂性高且未融入标准报告实践。
• 所提出的气候性能模型卡片仅需模型大小、训练时间及硬件类型等基本信息，即可实现透明报告。
• 该模型卡片设计轻量化且实用，显著提高了在多样化研究环境中被采纳的可能性。
• 作者强调，气候报告不应用于评估研究质量，否则可能使使用效率较低硬件的研究者处于不利地位。
• 该模型卡片明确不用于衡量净气候影响或更高阶效应，而仅聚焦于模型训练和推理的一阶排放。