[论文解读] Towards Answering Climate Questionnaires from Unstructured Climate Reports

Daniel Spokoyny, Tanmay Laud+2 more|arXiv (Cornell University)|Jan 11, 2023

Computational and Text Analysis Methods被引用 5

一句话总结

本文引入了两个大规模气候问卷数据集——Clima-CDP 和 Clima-Ins，用于训练自监督模型，将非结构化的气候报告映射到结构化的问卷回答。这些模型在不同利益相关者类型之间具有泛化能力，并在人类试点研究中表现出色，其中 71.0% 的预测问题-文本匹配被气候专家判定为相关，证明了自动化气候报告结构化的可行性。

ABSTRACT

The topic of Climate Change (CC) has received limited attention in NLP despite its urgency. Activists and policymakers need NLP tools to effectively process the vast and rapidly growing unstructured textual climate reports into structured form. To tackle this challenge we introduce two new large-scale climate questionnaire datasets and use their existing structure to train self-supervised models. We conduct experiments to show that these models can learn to generalize to climate disclosures of different organizations types than seen during training. We then use these models to help align texts from unstructured climate documents to the semi-structured questionnaires in a human pilot study. Finally, to support further NLP research in the climate domain we introduce a benchmark of existing climate text classification datasets to better evaluate and compare existing models.

研究动机与目标

• 解决缺乏将非结构化气候报告转换为可比较的结构化格式的 NLP 工具的问题，以供政策制定者和研究人员使用。
• 减少将气候披露（例如来自城市、企业）手动映射到标准化问卷（如 CDP）所需的工作量。
• 评估在结构化问卷上训练的自监督模型是否能在不同利益相关者类型（例如城市与企业）之间实现泛化。
• 建立一个基准测试 ClimaBench，用于评估和比较现有及未来的气候专用 NLP 模型。
• 证明训练好的模型在将真实非结构化气候行动计划映射到 CDP 问卷类别方面的实际应用潜力。

提出的方法

• 基于公开的半结构化气候问卷，构建两个新数据集——Clima-CDP（企业与城市披露）和 Clima-Ins（保险机构披露）。
• 利用问卷的内部结构训练自监督文本分类模型，将每个问题-答案对视为一个分类任务。
• 采用领域内和跨领域训练与评估协议，以评估在不同利益相关者类型之间的泛化能力。
• 使用微调后的 MiniLM 交叉编码器模型，计算来自非结构化气候行动计划（CAPs）的文本片段与 CDP 问卷问题之间的相关性得分。
• 开展人类评估试点，由气候专家根据三档相关性量表对模型预测的前 5 个问题-文本匹配进行评分。
• 整理 ClimaBench，一个包含五个现有和两个新气候文本分类数据集的基准，用于在多样化任务中评估模型性能。

Figure 1: We conduct 3 experiments on CDP-QA . In-Domain ( 5.3 ) refers to training and evaluating on the same stakeholder-type . Cross-Domain ( 5.4 ) refers to training and testing on different stakeholder-type s. Finally, Unstructured Questionnaire Filling ( 5.5 ) involves training on the whole CD

实验结果

研究问题

• RQ1 在结构化气候问卷上训练的自监督模型是否能泛化到训练过程中未见过的新利益相关者类型？
• RQ2 这些模型在将现实世界气候行动计划中的非结构化文本段落与标准化问卷中的对应问题进行对齐方面效果如何？
• RQ3 通用 NLP 模型是否在气候文本分类任务中优于领域专用模型（如 ClimateBERT）？
• RQ4 在真实、专家评估的设置中，模型生成的对齐结果的人类水平表现如何？
• RQ5 统一的基准是否能提升气候 NLP 领域中对 NLP 模型的评估与比较？

主要发现

• 在人类评估中，模型达到了 71.0% 的相关性，其中 35.6% 的预测被评为“高度相关”，表明非结构化文本与问卷问题之间具有较强的对齐性。
• 模型展示了跨领域泛化能力，成功地将一种利益相关者类型（如州政府）的文本映射到另一种类型（如企业）的问卷中，表明在不同组织类型之间具有可迁移性。
• 在 ClimaBench 基准测试中，通用模型在多个气候文本分类任务中表现优于领域专用模型（如 ClimateBERT），挑战了领域专用模型优越性的既有假设。
• 人类评估揭示了一个关键局限：更具体、高度相关的提问往往排名低于更一般的提问，表明需要改进重排序或模型校准。
• 本研究证明了使用自监督模型自动化将非结构化气候披露映射到结构化问卷的可行性，显著减少了人工工作量。
• 作者发布了 ClimaBench 和训练好的模型（如 miniLM-cdp-all），以支持未来在气候 NLP 领域的研究与模型开发。